CC BY
66
МАТЕМАТИЧЕСКОЕ И ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ
УДК 004.93.12
КОМПЬЮТЕРНАЯ ОЦЕНКА ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ДЕТЕЙ ДОШКОЛЬНОГО ВОЗРАСТА С ИСПОЛЬЗОВАНИЕМ МЕТОДА ОТСЛЕЖИВАНИЯ ВЗГЛЯДА С ПОМОЩЬЮ ВЕБ-КАМЕРЫ
О. В. Батенькина, Д. Н. Тренкин
Омский государственный технический университет, г. Омск, Россия
DOI: 10.25206/2310-9793-2017-5-4-111-117
Аннотация - Рассматриваются актуальность и особенности выполнения компьютерной диагностики эмоционального уровня развития детей дошкольного возраста с ограниченными возможностями здоровья с помощью модуля распознавания эмоций. Рассматривается процесс распознавания эмоций и представлены результаты анализа существующих методов распознавания, предложено использовать для распознавания лица метод, основанный на характерных признаках Хаара и алгоритме обучения AdaBoost. Проведенное исследование позволило выбрать комбинированный подход к захвату и определения лица с использованием технологии отслеживания взгляда при помощи веб -камеры и метода видимого изображения для определения положения лица.
Описанный метод обработки изображений, полученных с помощью веб-камеры, и представленные алгоритмы распознавания эмоций позволят оценить выявить эмоциональное состояние ребенка в процессе обучения и диагностики уровня развития, что в последующем определить уровень нарушений эмоциональной среды в совокупности с результатами диагностики познавательной деятельности и личностного развития.
Ключевые слова: распознавание эмоций, eye-tracking, отслеживание взгляда, метод видимого изображения, диагностики эмоционального состояния, дети с ОВЗ.
I. Введение
Полноценное развитие ребенка как неотъемлемое право человека и одна из важнейших задач образования на современном этапе требует поиска наиболее эффективных путей достижения этой цели. Именно дети с ограниченными возможностями здоровья в этом контексте привлекают внимание большинства исследователей, врачей, педагогов, психологов и т.д. [1].
Выделенная проблема находится на пересечении различных отраслей научного знания, и ее решением является реализация задачи диагностики нарушенного развития через комплексный подход, включающий всестороннее обследование, оценку особенностей развития ребенка с ОВЗ и охватывает познавательную деятельность, поведение, эмоции, волю, состояние зрения, слуха, двигательной сферы, соматическое состояние, неврологический статус.
Для реализации данного подхода была разработана информационная система «Центр диагностики уровня развития и коррекционного обучения детей дошкольного возраста с ограниченными возможностями здоровья». Основой для создания системы компьютерной диагностики послужила методика оценки психологического уровня развития детей дошкольного возраста с ОВЗ, разработанная педагогами-дефектологами КОУ Омской области «Специальный (коррекционный) детский дом № 3 для детей-сирот и детей, оставшихся без попечения родителей, с ограниченными возможностями здоровья» (г. Омск), позволяющая оценить: память, мышление, сенсорное восприятие и элементарно-количественные представления ребенка. Качественный анализ предполагает оценку особенностей процесса выполнения ребенком заданий и допускаемых ошибок на основе системы качественных показателей [2].
Данная методика позволяет оценить познавательную деятельность и личностное развитие, но в тоже время необходимо проводить и оценку эмоционально-волевой сферы, так как нарушение эмоционального баланса способствует возникновению эмоциональных расстройств, приводящих к отклонению в развитии личности ребенка, к нарушению социальных контактов.
Для реализации задачи оценки эмоциональной сферы ребенка необходимо разработать модуль распознавания эмоций, который в совокупности с модулем диагностики познавательной деятельности позволит проводить комплексную оценку уровня развития детей дошкольного возраста во время тестирования и процесса обучения.
В качестве основных методов, позволяющих выявить особенности эмоционального развития и оценить эмоциональное состояние ребенка, в условиях детского дошкольного учреждения в настоящее время используются наблюдение, эксперимент и проективные рисуночные тесты. Однако этими методиками могут успешно пользоваться педагоги-психологи, воспитатели, т. е. специалисты, которые наблюдая ребенка каждый день, имеют возможность тщательно исследовать его поведение в реальных жизненных обстоятельствах [3].
Поэтому в данном проекте было предложено разработать информационный модуль, который хранил бы записанные при помощи веб-камеры видеозаписи сеанса выполнения ребенком диагностических тестов, видеозапись действий, которые производит ребенок в помощью манипулятора «мышь» на экране компьютера, а также запись траектории перемещения взгляда ребенка в процессе тестирования и обучения с помощью использования технологии eye-tracking.
Последующая обработка видеозаписей с помощью алгоритмов распознавания эмоций позволит оценить уровень эмоционального развития и выразительности ребенка и понять проблемы, которые возникли у дошкольника при прохождении тестирования для раннего выявления и определения уровня умственных способностей и эмоционального состояния как в специализированных дошкольных учреждениях, так в домашних условиях.
II. Постановка задачи
Исследование методов автоматического распознавания эмоций должно решать следующие задачи [4]:
1. Захват и отслеживание лица. Задача захвата требует определения: присутствует ли лицо в поле зрения кадра видеоизображения. Если присутствует, компьютер должен получить размер лица и его координаты положения на изображении, отслеживание требует дальнейшего определения размера и положения, изменяющихся с течением времени.
2. Распознавание и описание особенности лица - эта задача требует определения положения органов (глаза, нос, рот и т.д.) на лице, а также должны быть определены формы этих органов.
3. Классификация - с учетом особенностей лица необходимо определить: какой вид эмоции присутствует на изображении, определить время возникновения и длительность данной эмоции.
Был проведен анализ современных методов распознавания лиц и эмоций, в результате которого были рассмотрены различные методы. Точность распознавания с использованием данных методов составляет от 80% и выше, а в ряде случаев - даже приближается к 100 %, что является почти отличным результатом. Все методы имеют ряд ограничений по применимости и требуют значительных вычислительных ресурсов, так как для большинства современных систем автоматического распознавания лиц основной задачей является задача сравнения заданного изображения лица с набором изображений лиц из базы данных.
Анализ выражения лица является непростым направлением исследований в области распознавания образов, в основном из-за сложности получения точных признаков лица и его выражений. Так как разница в движении характерных точек между различными выражениями лица не велика, например: открытый рот не означает, что это смех, это может быть плач или удивление.
Эмоции вызывают существенные изменения в физиологических процессах человеческого организма, а также проявляются в мимике (выразительные движения лица) и пантомимике (выразительные движения всего тела - поза, жест), а также в так называемой вокальной (голосовой) мимике (интонация, выразительные паузы, повышение или понижение голоса, смысловые ударения) [5].
Дети с задержкой психического развития отличаются от здоровых детей по многим параметрам: запаздывание развития моторики, речи, нарушение социального поведения; снижение эмоционально-волевой деятельности; пониженная работоспособность; преобладание игровой деятельности над учебной; частая смена настроения.
В случае гиперактивного поведения ребенка задача захвата лица эмоций значительно усложняется из-за того, что ребенок непоседлив, импульсивен и зафиксировать положение головы и выделить соответствующие данному моменту эмоции становится проблематично. Поэтому одним из решений данной проблемы является комбинированное использование технологии eye-tracking в сочетании с алгоритмами распознавания эмоций.
III. Теория
Методы распознавания можно разделить на три области [6-10]: целостные и локальные распознавания, эксрагирования деформации и движении, геометрические характеристики и характеристика внешности.
Методы целостных распознаваний анализируют эмоции человеческого лица в целом, чтобы затем найти разницу между разными изображениями и к ним относятся: Principal Component Analysis (PCA), Independent Component Analysis (ICA), Fisher s Linear Discriminants (FLD), Local Feature Analysis (LFA), Fisher Actions, Hidden Markov Models и кластерный анализ.
Методы локальных распознаваний анализируют отдельные части лица (например: рот, брови и глаза): Facial Actions Code System (FACS), Local PCA, Вейвлеты и Нейронные сети.
Методы эксрагирования деформации и движений для распознавания берут за основу изменения органов на лице, когда меняются различные выражения: Active Shape Model (ASM), Point Distribution Model (PDM).
Методы геометрических характеристик основаны на форме и положении различных частей лица человека, чтобы извлечь характерные векторы, которые представляют геометрические характеристики лица.
Существующие методы распознавания используют три характерных признака для распознавания: уровень серого, движение и частоты. Разные эмоции приводят к разному уровню серого на цифровом изображении лица пользователя. Однако анализ этого характерного признака требует серьезной предварительной цифровой обработки изображения для нормализации входного изображения. Характерный признак «движение» использует информацию об изменении положения определённых точек на лице, а признак «частота» использует разницу между различными цифровыми изображениями лица в частотной области.
Исходя из проведенного анализа методов распознавания эмоций, наиболее целесообразным и перспективным представляется использование метода, состоящего из следующих этапов, представленных на рис. 1.
Рис. 1. Процесс распознавания эмоций
В данном методе используется классификатор, основанный на характерных признаках Хаара и алгоритме обучения AdaBoost, для распознавания лица [11]. Классификатор состоит из каскадных подклассификаторов. У каждого подклассификатора высокий уровень обнаружения (около 99%). На этапе определения лица на основе органов - обычно это брови, глаза и рот, проводят соотношение различных форм различных органов, из которых и состоят различные эмоции.
Так как различные эмоции состоят из пар различных форм органов, то достаточно найти несколько ключевых точек для определения форм органов в соответствии с принципом: осуществляется переход от цветного изображения к полутоновому, затем к бинарному и далее получают ключевые точки. Переход от цветного изображения до полутонового выполняется на шаге захвата и отслеживания лица. Для получения бинарного изображения используется адаптивный порог, который может уменьшать отрицательный эффект влияния перепадов. Для получения точки данное изображение обрабатывается с помощью градиентной маски и выделения средних и концевых точек.
Таким образом, на основании относительного взаимного расположения ключевых точек, можно определить, какая эмоция представлена на изображении.
Последовательность изображений возможно получить с помощью стандартной веб-камеры для персонального компьютера.
Основной трудностью использования технологий распознавания эмоций является зависимость качества результата распознавания человека по изображению лица от ракурса, положения, условий освещенности и т. д.
Технология eye-tracking на данный момент развита достаточно широко. Она позволяет с помощью устройства eye-tracker получить данные о направлении взгляда пользователей при работе с программным обеспечением. Основным инструментом этой технологии является определения позиции глаз и их движения. Eye-tracker регистрирует места фиксации взгляда, определяя координаты его задержки в определенной точке и длительность той самой задержки, позволяет определить перемещение взгяда вместе с траекторией для получения и
уточнения данных о положении зрачка респондента. Устройства данного класса оборудованы камерами и инфракрасными датчиками для регистрации взгляда человека на конкретном объекте. Современный eye-tracker представляет собой два вычислительных центра, один из которых отвечает за работу камеры, а другой - за представление результатов для их последующего анализа. Схема работы устройства представлена на рис. 2.
Глэзэ испытуемого
\
Соединяющий кабель USB 3.0 Рис. 2. Схема работы класса устройств eye-tracker
Технология eye-tracking применяется для исследований в специально оборудованных лабораториях с применением стационарного устройства, оборудованного инфракрасной камерой и компьютером. Также мобильные системы отслеживания движения глаза могут крепиться к голове, а могут быть полностью независимыми и, например, устанавливаться на мониторы и ноутбуки.
IV. Результаты экспериментов Перечисленные выше устройства работают по схожему алгоритму, в котором есть компьютер, используемый для вывода изображения и расчетов координат глаз, непосредственно, само устройство отслеживания движения глаз - eye-tracker, которое используется для подачи инфракрасного света на зрачок и радужную оболочку глаза, и записи движения глаза, с последующей передачей данных на компьютер, для вычисления карты движения глаза (рис. 3) [12].
Рис. 3. Алгоритм работы класса устройств eye-tracker
Однако само устройство eye-tracker, позволяющее отслеживать траекторию взгляда, является достаточно дорогостоящим. Стоимость такого устройства составляет от 200 до нескольких тысяч евро.
При этом целью разрабатываемой информационной системы является также обеспечение общедоступности ее возможностей для диагностики уровня развития ребенка, как в условиях образовательного учреждения, так и в домашних условиях. В связи с этим использование такого устройства в качестве инструмента является нецелесообразным, поэтому было принято решение использовать технологию отслеживания движений глаза, но с помощью веб-камеры, которая является дешевым и общедоступным устройством.
На сегодняшний день отслеживание движения и положения глаз на основе видеозаписи происходит следующим образом: камера снимает один или оба глаза и регистрирует их движения, пока испытуемый рассматривает визуальный стимул [13]. Большинство современных устройств для отслеживания глаз используют контраст между зрачком и радужной оболочкой, который возникает при инфракрасной подсветке. Кроме того, анализируется положение блика инфракрасной подсветки, благодаря чему становится возможным определить ориентацию оптической оси глазного яблока (рис. 4) [14].
Рис. 4. Алгоритм обнаружения радужной оболочки глаза для веб-камеры
Видеоподходы, основанные на отслеживании движения глаза, обычно используют два метода визуализации: инфракрасное изображение и видимое изображение (получаемое с камеры). Ранние версии инфракрасных камер и инфракрасных источников света захватывали инфракрасное изображение, в то время как последние, как правило, использует камеры высокого разрешения для захвата изображений. Так как метод инфракрасного изображения использует невидимые инфракрасные источники света, чтобы получить снизить влияние условий освещенности помещения и создать четкий контраст между радужной оболочкой глаза и зрачком. Данный метод способен работать с нефиксированным положением головы, однако, он зависим от освещенности помещения и количества источников света в нем.
Условия освещения способны создать резкий контраст между радужной оболочкой и зрачком (т.е. ярко-темный эффект глаз), а также как и отражающие свойства зрачка и роговицы.
В результате, инфракрасный метод формирования изображения способен на очень точное отслеживание движения глаза. К недостаткам системы основанной на отслеживании движения глаз инфракрасным лучом стоит отнести следующее:
- система инфракрасного изображения не будет давать правильных результатов при наличии других инфракрасных источников;
- не все пользователи способны обеспечить высокую контрастность помещения, отсутствие которой может повлечь ощутимые потери в качестве выполняемых измерений;
- отражение инфракрасного источников света на стеклах по-прежнему является проблемой [15].
По сравнению с подходами инфракрасной визуализации изображения, метод видимого изображения лишен многих недостатков. Во-первых, он доступнее, так как для реализации метода видимого изображения широко используют веб-камеры, которые к тому же не чувствительны к использованию стекол и инфракрасных источников света. Веб-камеры способны работать в естественной среде, где интенсивность света окружающей среды неконтролируемая и, как правило, приводит к снижению контрастности изображений. Стоит отметить, что обнаружение радужной оболочки станет более трудным, чем обнаружение центра зрачка, потому что она, как правило, частично перекрыта верхним веком. Для этого используют специально разработанный алгоритм, в котором лицо человека анализируется в реальном времени, чтобы отследить расположение глаза. Затем определяется радужная оболочка посредством выделения ее краев на поле глаза и далее уже используют кусочный угловой детектор глаза для обнаружения угла глаза [16].
Для компенсации движений головы, которые вызывают ошибки анализа взгляда, используют синусоидальную модель головы, чтобы имитировать ее положение в трехмерном пространстве, и анализируют особенности строения лица, в результате чего поза может быть оценена быстрее и точнее, что, в свою очередь, увеличивает потенциальную точность измерений. Наконец, слежение за взглядом и построение карты взгляда осуществляется через анализ вектора движения глаза и головы.
Основная идея данного метода заключается в уменьшении технических требований к аппаратной составляющей веб-камеры, положению головы и расположению источников света.
VI. Выводы и заключение
Подводя итог, стоит отметить, что качество записываемого видео во время тестирования ребенка не имеет значения, так как программа анализа изображения способная сама определить центр зрачка, откуда уже потом методом векторов определить направление взгляда. Это ведет к заключению о том, что процесс отслеживания движения глаз, где сегодня используются дорогостоящие устройства типа eye-tracker, может быть выполнен с использованием веб-камеры. Значит, диагностику поведения человека можно будет проводить в более естественном состоянии, не отвлекая его внимания на посторонние устройства.
Учитывая вышеизложенное, представляется перспективным использование комбинированных методов, а именно совместного использования технологии отслеживания взгляда с помощью веб-камеры и методов распознавания эмоций. Данные методы и являются основной разработанной методики распознавания эмоций для информационной системы диагностики уровня развития детей дошкольного возраста с ОВЗ.
Дети с ОВЗ в дошкольном возрасте имеют особенности в проявлении и выражении этих эмоций, что говорит о наличии определенных нарушений в развитии эмоциональной среды.
Однако реализация алгоритмов распознавания эмоций также может быть осложнена тем, что дети с ОВЗ в данном возрасте при наличии различных видов нарушений могут быть подвержены расстройствам настроения (эйфории, дисфории, депрессии, тревожному синдрому, страхам, апатии, эмоциональной тупости, паратимии), а также расстройствам поведения, к которым можно отнести гиперактивность и агрессивное поведение: нормативно-инструментальную агрессию, пассивно-агрессивное поведение, инфантильную агрессивность, защитную агрессию, демонстративную агрессию, целенаправленно-враждебную агрессию. Все эти нарушения приводят к тому, что становится сложно распознать наличие той или иной эмоции.
Поэтому следующим этапом в разработке модуля распознавания эмоций информационной системы диагностики является выделение основных или фундаментальных эмоций, которые выражаются детьми от 3 до 7 лет: интерес, радость, удивление, страдание, отвращение, гнев, презрение, страх, стыд, чувство вины с учетом всех возможных нарушений и составление на их основе классификации и картотеки системы для последующего распознавания.
Таким образом, использование технологии Eye-tracking совместно с записью видеопроцесса тестирования и обучения ребенка позволит использовать методы распознавания эмоций для выявления эмоционального состояния ребенка в процессе тестирования без участия психолога, что является оригинальным решением при создании системы комплексной психологической диагностики детей дошкольного возраста с ОВЗ.
Источник финансирования
Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований, грант № 16-47-550894.
Список литературы
1. Социально-эмоциональное развитие ребенка в дошкольном периоде : материалы международного семинара. СПб.: РГПУ им. А. И. Герцена, 1999. 390 с.
2. Батенькина О. В. Интерфейс системы диагностики уровня развития детей дошкольного возраста с ограниченными возможностями здоровья // Динамика систем, механизмов и машин. 2016. Т. 2, № 1. С. 229-236.
3. Выроцкова В. В. Социально-психологические факторы развития детей дошкольного возраста // Современная зарубежная психология. 2015. Т. 4, № 1. С. 6-14. URL: http://psyjoumals.ru/jmfp/2015/n1/76173.shtml (дата обращения: 01.04.2017).
4. Devyatkov V, Alfimtsev A. Optimal fuzzy aggregation of secondary attributes in recognition problems // The 16th International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision'2008. University of West Bohemia, Campus Bory, Plzen-Bory, Czech Republic. P. 33-39.
5. Карелина И. О. Эмоциональные нарушения в дошкольном возрасте и их коррекция / И. О. Карелина. М.: ВЛАДОС, 2000. 248 с.
6. Cuiping Z., Guangda S. Human face recognition: A survey // Journal of Image and Graphics. 2000. № 11. P. 103111.
7. Cootes T., Taylor C., Cooper D. Active shape models-their training and application // Computer Vision and Image Understanding. 1995. № 61. P. 38-59.
8. Viola P., Jones M. Robust Real Time Object Detection // 8th IEEE International Conference on Computer Vision. Vancouver, 2001. P. 151-155.
9. Sujun Z. Facial Expression Recognition Algorithm Based on Active Shape Model and Gabor Wavelet // Journal of Henan University (Natural Science). 2010. № 9. P. 40-45.
10. Guo G. D., Dyer C. R. Learning from examples in the small sample case: face expression recognition // IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics). 2005. Vol. 35, Is. 3. P. 477-488.
11. Ян Си. Автоматическое распознавание эмоций пользователя для организации интеллектуального интерфейса // Молодежный научно-технический вестник. 2013. № 9. URL: http://sntbul.bmstu.ru/doc/616498.html (дата обращения: 06.10.2016 г).
12. Kang Z., Landry S. J. An eye movement analysis algorithm for a multielement target tracking task: Maximum transition-based agglomerative hierarchical clustering // IEEE Transactions on Human-Machine Systems. 2015. Vol. 45, № 1. Р. 13-24.
13. Wojciechowski A., Fornalzyk K. Single web camera robust interactive eye-gaze tracking method // Bulletin of The Polish Academy of Sciences Technical Sciences. 2015. Vol. 63, No 4. DOI: 10.1515/bpasts-2015-0100.
14. Cherif Z. R., Nait-Ali A., Motsch J., Krebs M. An adaptive calibration of an infrared light device used for gaze tracking // IMTC-2002. Proceedings of the 19th IEEE Instrumentation and Measurement Technology Conference. URL: http://ieeexplore.ieee.org/document/1007096/citations (дата обращения: 02.10.2016).
15. Ince I. F., Kim J. W. A 2D eye gaze estimation system with lowresolution webcam images // EURASIP Journal on Advances in Signal Processing. 2011, 2011:40 (дата обращения: 02.10.2016).
16. Guestrin E. D., Eizenman E. General theory of remote gaze estimation using the pupil center and corneal reflections // IEEE Transactions on Biomedical Engineering. 2006. Vol. 53, Is. 6. P. 1124-1133.
УДК 519.62+519.65+519.715
ПРИМЕНЕНИЕ СПЛАЙН-ВЕЙВЛЕТОВ ДЛЯ АНАЛИЗА ВЫХОДНЫХ ПРОЦЕССОВ МНОГОМЕРНЫХ НЕСТАЦИОНАРНЫХ ЛИНЕЙНЫХ СИСТЕМ УПРАВЛЕНИЯ
Ю. И. Битюков, Ю. И. Денискин, Г.Ю. Денискина
Московский авиационный институт (национальный исследовательский университет), г. Москва, Россия
DOI: 10.25206/2310-9793-2017-5-4-117-127
Аннотация - Системы дифференциальных уравнений возникают в задачах механики, физики, техники, управления и т.д. В статье представлен алгоритм численного решения системы дифференциальных уравнений с переменными коэффициентами, основанныый на сплайн-вейвлетах на отрезке. Представленный алгоритм обобщает известный метод, основанный на вейвлетах Хаара, которые являются частным случаем сплайн-вейвлетов. Результаты статьи применяются для анализа выходных процессов многомерных нестационарных линейных систем управления.
Ключевые слова: сплайн-вейвлет, дифференциальные уравнения, многомерные нестационарные линейные системы управления.
