CC BY
58
УДК 004.81:159.942.52
АНАЛИЗ И ОЦЕНКА ЭМОЦИОНАЛЬНЫХ РЕАКЦИЙ ПОЛЬЗОВАТЕЛЯ ПРИ РЕЧЕВОМ ВЗАИМОДЕЙСТВИИ С АВТОМАТИЗИРОВАННОЙ СИСТЕМОЙ
Ю. А. Орлова, к. т. н., к. п. н., доцент кафедры САПРиПК Тел. (844 2) 248 108, e-mail: yulia.orlova@gmail.com В. Л. Розалиев, к. т. н., доцент кафедры САПРиПК Тел. (844 2) 248 108, e-mail: rozaliev_y@mail.ru Волгоградский государственный технический университет
http://www.vstu.ru
In the article the solution of the problem of increasing efficiency of information processing and decision making at human-computer interaction due to the automation of the determination of emotional responses to a speech flow is described. The model of emotional tone based on superposition of three types of models is presented.
В статье описано решение задачи повышения эффективности обработки информации и принятия решений при человеко-компьютерном взаимодействии за счет автоматизации определения эмоциональных реакций по речевому потоку. Описана модель эмоционального тона, основанная на суперпозиции трех типов моделей.
Ключевые слова: распознавание эмоциональных реакций, суперпозиция моделей, речь человека.
Keywords: recognition of emotional reactions, superposition models, human speech.
Работа выполнена при поддержке гранта Президента Российской Федерации №МК-3281.2011.9
В последние годы пристальное внимание уделяется вопросам обработки информации и принятия решений при человеко-компьютерном взаимодействии [2, 4]. Эффективность данного процесса во многом зависит от качества распознавания информации, поступающей от пользователя автоматизированной системы и целенаправленности воздействия человека на объекты исследования. Достижение цели диалогового взаимодействия ЭВМ и пользователя возможно при учете большинства аспектов, характеризующих речевые потоки, возникающие в процессе общения.
Эмоциональный речевой сканер [1] необходим в транспортных компаниях и диспетчерских службах для автоматизированного введения ограничений или полного запрета доступа к выполнению служебных обязанностей лиц, находящихся в неустойчивом или неадекватном эмоциональном состоянии. Подобные системы контроля позволят проводить дополнительную проверку пассажиров авиарейсов в рамках мероприятий по противодействию терроризму.
В применении компьютерного распознавания речи и определении ее эмоциональности в первую очередь заинтересованы компании, внедряющие роботизированные системы в повседневную жизнь людей, а также компании, работающие с большим числом клиентов и желающие перейти на новый уровень общения с ними. Эффективное общение на естественном языке [2, 3] должно сыграть важную роль в мультимедийном обществе будущего с лёгкими в обращении интерфейсами «человек-машина». Применение таких интерфейсов, оставляющих у клиентов ощущение удобства и удовлетворенности при получении информации или услуг в режиме самообслуживания, позволит уже сейчас, при достигнутом качестве работы распознавателей, создать социально значимые системы, внедрение которых сделает доступ населения к услугам и данным более дешевым, удобным и круглосуточным.
Таким образом, в результате практического рассмотрения и анализа существующих моделей определения эмоциональных реакций по речи выявляется необходимость их модификации и создания новых методов. Данное исследование важно для повышения эффективности распознавания речи, а повсеместное внедрение роботов делает результаты данной работы важными для повышения эффективности взаимодействия человека и машины.
Цель исследования заключается в повышении эффективности обработки информации и принятия решений при человеко-компьютерном взаимодействии за счет автоматизации определения эмоциональных реакций по речевому потоку. Для достижения поставленной цели необходимо решить следующие задачи:
1. Определить понятия «эмоциональное реагирование», «эмоциональный тон», «эмоция» на основе анализа существующих теорий эмоций. Проанализировать современные методы определения эмоционального реагирования и методы формального представления эмоциональных реакций. Выделить недостатки современных систем распознавания речи в части определения эмоциональных реакций. Проанализировать возможность существования аналогии между эмоциональным реагированием и иммунным ответом организма. Провести анализ иммунологических методов и алгоритмов.
2. Разработать методику определения эмоционального реагирования по речи человека, позволяющую повысить эффективность обработки информации и принятия решений при человеко-компьютерном взаимодействии.
3. Разработать и исследовать модель эмоционального реагирования, основанную на применении иммунологического подхода и нечеткого вывода.
4. Разработать алгоритмическое обеспечение определения эмоционального реагирования по речи человека. Реализовать разработанные формализмы, методику и алгоритмы в виде отдельных модулей, автоматизирующих определение эмоциональных реакций.
5. Провести исследование эффективности разработанного алгоритмического и программного обеспечения при определении различных эмоциональных реакций пользователя автоматизированного call-центра.
Эмоциональный тон является реакцией на какое-либо ощущение, а ощущение возникает при всяком событии [4, 5]. Таким образом, эмоциональный тон возникает как следствие всякого события.
Процесс идентификации эмоциональной реакции, переживаемой человеком, осуществляется в соответствии со следующей методикой: на первом этапе - определение знака эмоционального тона, на втором этапе - построение модели эмоционального тона, на третьем этапе - построение модели эмоций, на основе аппарата алгебры эмоций [5].
Для представления модели эмоционального тона, эмоциональная реакция представляется в виде иммунного ответа организма [5, 6]. Иммунный ответ разделяется на неспецифический и специфический, т.е., другими словами, на врожденный и приобретенный в результате обучения. Неспецифический ответ представляется в виде иммунного ответа организма на внешнее событие, а в специфическом ответе для получения значения эмоционального тона применяется аппарат нечетких продукций. Знак эмоционального тона устанавливается по предлагаемой методике определения знака эмоционального тона.
Методика определения знака эмоционального тона состоит из следующих этапов.
Первый этап - выделение и расчет акустических параметров, определение по экспериментально полученной функциональной зависимости между числовыми параметрами сигнала и переживаемым эмоциональным тоном значения эмоционального тона. Второй этап - выделение слов [2], характеризующих эмоциональные реакции. Этот этап необходим, если полученные на первом уровне значения выходят за границы экспериментально полученного интервала, характеризующего классы эмоциональных реакций [5]. Если такие слова отсутствуют, то переходим к третьему этапу. Третий этап - определение эмоционального тона. Здесь осуществляется выделение характеристик фонем четырех гласных звуков и лингвистических переменных; заполнение базы нечетких правил; определение эмоционального тона посредством нечеткого вывода.
Среди множества акустических параметров были выделены параметры, инвариантные к действию повышенного уровня сигнала, описывающие статистические характеристики амплитудно-частотного речевого потока и основного тона, особенности спектральной структуры. В качестве интегральных признаков речевого потока (т.е. при произвольном контексте речи) используются статистические оценки распределения параметров текущего спектра речи (спектральные признаки) и частоты основного тона, характеризующие этот поток в целом за определенный промежуток времени.
В качестве интегральных спектральных признаков выбраны следующие группы индивидуальных признаков: среднее и нормированные значения спектра; нормированное время пребывания сигнала в полосах спектра; признаки медианных значений спектра; относительная мощность
спектра речи в полосах; вариации огибающих спектра; нормированные значения вариаций; коэффициенты кросскорреляции.
В результате исследования различных подходов к построению моделей (классический логический подход, нечеткая логика, нейронные сети, имитационное моделирование) и анализа возможности их применения для построения модели эмоционального тона, был сделан вывод, что наиболее подходящим аппаратом для описания модели эмоционального тона является аппарат иммунных систем. При этом математическая модель строится на основе соотношения баланса для каждого из компонентов, участвующих в возникновении и протекании эмоционального тона. Ввиду такой концепции, частные особенности не являются существенными для анализа динамики развития эмоционального тона. На первый план выступают основные закономерности протекания процесса. Ограничимся рассмотрением трех компонент: объекта, вызывающего эмоциональное реагирование (стимула), знаний об объекте, вызывающем эмоциональное реагирование (описание того, как нужно противодействовать стимулу) и способностей к обучению (позволяющих получать знания о стимуле).
Эмоциональное реагирование является механизмом поддержания некоторого состояния (нормального для данного человека) [4]. Это отражено в разработанной математической модели.
Переменными модели [5, 6] являются следующие величины:
- количество информации о появлении объектов, вызывающих эмоциональное реагирование,
- количество информации об объектах, вызывающих эмоциональное реагирование (защита, нейтрализующая действие информации о появлении объектов),
- общий размер доступной индивиду информации, которую он может воспринять. Сюда входят вся информация об объекте, вызывающем эмоциональное реагирование,
- наступление эмоционального реагирования (относительная характеристика).
Модель эмоций представлена в виде системы дифференциальных уравнений. [5] Первое уравнение описывает изменение количества информации о появлении объекта, вызывающего эмоциональную реакцию. Второе уравнение описывает рост информации об объекте. Третье уравнения показывает баланс количества информации о появлении объекта и информации об объекте. Четвертое уравнение показывает относительную характеристику переживания человеком эмоциональной реакции.
Научная новизна исследования состоит в следующем: разработаны модели и методы оценки эмоциональных реакций человека по речевому потоку, позволяющие повысить эффективность обработки информации и принятия решений при человеко-компьютерном взаимодействии.
Литература
1.Заболеева-Зотова А. В. Моделирование лексического анализа текста технического задания / А. В. Заболеева-Зотова, Ю. А. Орлова // Изв. ВолгГТУ. Серия «Актуальные проблемы управления, вычислительной техники и информатики в технических системах»: межвуз. сб. науч. ст. -Волгоград: ВолгГТУ,
2007. - Вып.2, №2. - C. 39-42.
2.Заболеева-Зотова А. В. Автоматизация семантического анализа документации технического задания / А.В. Заболеева-Зотова, Ю.А. Орлова // Вестник компьютерных и информационных технологий. 2008. № 9. C. 26-34.
3.Заболеева-Зотова А. В. Атрибутная грамматика формального документа «Техническое задание» /
A.В. Заболеева-Зотова, Ю.А. Орлова // Изв. ВолгГТУ. Серия «Актуальные проблемы управления, вычислительной техники и информатики в технических системах»: межвуз. сб. науч. ст. - Волгоград: ВолгГТУ.
2008. Вып. 4, № 2. C. 39-43.
4.Розалиев В. Л. Предпосылки, возможности, перспективы создания автоматизированной системы распознавания эмоциональности речи / В. Л. Розалиев // Известия ВолгГТУ. Серия «Актуальные проблемы управления, вычислительной техники и информатики в технических системах»: межвуз. сб. науч. ст. -Волгоград: ВолгГТУ, 2008. Вып.4, №2. С.58-61.
5.Розалиев В. Л. Моделирование эмоционального состояния человека на основе гибридных методов /
B.Л. Розалиев, А.В. Заболеева-Зотова // Программные продукты и системы: международный науч.-практ. журнал. - Тверь, 2010. Вып.2 (90). С.141-146.
6.Розалиев В. Л. Применение нейронных сетей и грануляции при построении автоматизированной системы определения эмоциональных реакций человека / В. Л Розалиев, А. С. Бобков, О. С. Федоров // Изв. ВолгГТУ. Серия «Актуальные проблемы управления, вычислительной техники и информатики в технических системах»: межвуз. сб. науч. ст. - Волгоград: ВолгГТУ, 2010. Вып. 9, № 11. C. 63-68.
