Математическая модель измерения эмоционального состояния абонента мобильного телефона Текст научной статьи по специальности «Компьютерные и информационные науки»

2013

ВЕСТНИК ПЕРМСКОГО УНИВЕРСИТЕТА

Математика. Механика. Информатика

Вып. 4(23)

УДК 519.711.2

Математическая модель измерения эмоционального состояния абонента мобильного телефона

В. О. Михайлов

Пермский государственный национальный исследовательский университет Россия, 614990, Пермь, ул. Букирева, 15 [email protected]; (342) 2 396-424

Описывается актуальность задачи измерения эмоций абонента по голосу. Приводятся существующие алгоритмы, распознающие эмоции абонентов, и описаны сильные и слабые сто -роны этих алгоритмов. Предложен авторский алгоритм, позволяющий устранять недостатки описанных алгоритмов. Показано, что одним из достоинств авторского алгоритма, основанного на общей математической теории эмоциональных роботов с неабсолютной памятью, является возможность его использования для моделирования эмоций мобильных телефонов и вычисления их воспитания. Моделирование представленных параметров позволит улучшить взаимодействие между человеком и мобильным устройством. В статье приведены формулы, показывающие взаимосвязь между эмоциональным состоянием человека и эмоциональным состоянием мобильного робота. Приведена асимптотическая сложность авторского алгоритма.

Ключевые слова: эмоция; измерение; распознавание; абонент; робот; неабсолютная память.

Введение

На современном этапе развития информационных технологий разработка методов автоматического определения эмоционального состояния человека по голосовым характеристикам является актуальной, так как автоматическое распознавание эмоций позволяет решить ряд экономических, социальных и бытовых проблем и, кроме того, играет важную роль в вопросах безопасности человека [3]. Эмоциональный речевой сканер может найти широкое применение в различных транспортных и диспетчерских учреждениях, для ограничения или полного запрета доступа к выполнению служебных обязанностей лиц, находящихся в неустойчивом или неадекватном эмоциональном состоянии. Подобные системы контроля позволят также проводить дополнительную проверку пассажиров авиарейсов в рамках мероприятий по противодействию терроризму [3].

© Михайлов В. О., 2013

О задаче определения численного значения эмоций человека

Решение задачи определения численного значения эмоций человека может применяться в проектировании эмоциональных роботов. Согласно заявлению доктора технических наук Сергея Манько: "Сначала потребуется научить электронную систему точно идентифицировать эмоциональное состояние человека, анализируя показания собственных датчиков и видеокамер. Затем научить робота принимать верные решения, т. е. научить реагировать на них словом или делом" [2].

В дальнейшем в качестве датчика, который необходимо использовать при оценке эмоционального состояния человека по голосовым характеристикам, будем подразумевать микрофон.

Рассмотрим первую часть задачи проектирования эмоциональных роботов, которая состоит в определении численного значения эмоций по голосовым характеристикам.

В настоящее время программных продуктов, которые измеряют эмоции по голосовым характеристикам практически не существует. На данный момент в основном это экспериментальные программы, которые распознают эмоции. Рассмотрим алгоритм под названием "Классификация эмоционально окрашенной речи с использованием метода опорных векторов" (И.Э.Хейдоров, Янь Цзинбинь, Уши, А.М.Сорока, А.А.Трус).

Авторы, рассматривая опорные векторы для распознавания эмоций, пришли к выводу о том, что применение метода опорных векторов для решения задач классификации эмоционально окрашенной речи позволяет получить высокую точность обученной модели. В сравнении с традиционными статистическими методами классификации [5] влияние методов извлечения векторов-признаков на точность классификации обученной модели позволяет предположить, что модернизация этих методов является одним из путей дальнейшего увеличения точности рассмотренного в статье [5] классификатора.

В предлагаемой статье рассмотрены проблемы классификации эмоционально окрашенной речи, извлечения векторов-признаков, предварительной обработки обучающих выборок, выбора параметров алгоритма и оценки свойств полученного классификатора на основе метода опорных векторов (МОВ).

Согласно исследованиям авторов алгоритма "Классификация эмоционально окрашенной речи с использованием метода опорных векторов" этот алгоритм позволяет достичь точности классификации при правильном выборе оптимальных параметров алгоритма и ядерной функции равной 96,2%. Сложность выбора параметров является одним из минусов алгоритма, так в алгоритме отсутствует численное значение некоторой характеристики, которое ставится в соответствие значениям эмоции.

Опишем достоинства и недостатки алгоритма "Автоматическое определение изменений эмоционального состояния по речевому сигналу" (А.А. Лукьяница, А.Г. Шишкин).

Авторы алгоритма описали технику отделения речи от пауз, а затем рассмотрели способы вычисления признаков, основанные на определении частоты основного тона, значениях трёх первых формант, а также на вычислении кепстра [1].

Исследования, проведённые авторами алгоритма, показали большую эффективность метода определения изменений в эмоциональном состоянии человека на основе анализа речевого сигнала. Достоинством алгоритма является высокая точность его работы (97.2%). К недостаткам алгоритма можно отнести сложность настройки алгоритма (так как алгоритм опирается на базы данных с примерами эмоциональных состояний и предполагает зависимость от языка абонента, у которого опознается эмоциональное состояние) и невозможность вычислить с помощью алгоритма численное значение амплитуды эмоции, т. е. количественно измерить эмоцию.

Приведенные алгоритмы могут в той или иной степени решать задачу определения типов эмоций человека по голосовым характеристикам, но не возвращают численного значения эмоции человека.

Теперь рассмотрим один из вариантов решения второй части задачи проектирования эмоциональных роботов, которая заключается в моделировании ответной эмоциональной реакции робота, вызванной эмоциональным воздействием человека. Одним из таких вариантов является математическая теория эмоциональных роботов, разрабатываемая Олегом Геннадьевичем Пенским в ПГНИУ. Одно из возможных применений математической теории эмоциональных роботов заключается в приближении психологии мобильных устройств (в рамках данной статьи мы рассматриваем мобильное устройство как подвид робота) к психологии человека по способности забывать прошлое. Основными понятиями математической теории эмоциональных роботов являются сюжет, эмоция робота, элементарное воспитание робота, воспитание робота и коэффициент памяти.

В рамках статьи под гармонической эмоцией мобильного устройства будем понимать следующую функцию:

Ж / А

М, ,(0 Т P ,srn j— (t Н tt)» , (1) i Н t, ...

где M^ ,(t) - эмоция мобильного устройства, P^, Т const, t - время действия эмоции во время такта 3t,, t,, f.

Под элементарным воспитанием мобильного устройства понимается функция

Го 1 Т М! )dt,

ч

где Г £ 1 - элементарное воспитание мобильного устройства, М^ ^) - эмоция мобильного устройства, I - порядковый номер воспитательного такта.

Под воспитанием мобильного робота принимается

Я о 1 Т г, о! °7Я , (2)

где Я - воспитание эмоционального мобильного устройства за время ti; ti(, 1 - время завершения текущего такта [2], tiо 1 I ti, 0 \ 7 { 1 коэффициент памяти, ti - общее время действия всех предыдущих эмоций, Яо Т Го.

Более подробное описание вышеприведенных понятий можно прочитать в [5], где также приводятся примеры поведения робота в зависимости от его воспитания.

Для реализации использования возможностей математической теории эмоциональных роботов необходимо, чтобы алгоритмы, распознающие эмоции человека, возвращали численное значение эмоций (т. е. могли измерять эмоции), в то время как представленные выше алгоритмы ("Классификация эмоционально окрашенной речи с использованием метода опорных векторов" и "Автоматическое определение изменений эмоционального состояния по речевому сигналу") лишь распознают их тип. Для этого рассмотрим авторский алгоритм, возвращающий численное значение эмоций.

Алгоритм измерения эмоций абонента мобильного телефона

Одним из источников эмоций, анализируемых алгоритмом, является речевой сигнал [4]. При изменении эмоционального состояния в человеческом организме происходят сложные процессы, которые в конечном итоге находят отражение в виде мышечных сокращений, в том числе и в голосовом тракте. Это даёт возможность бесконтактного определения эмоционального состояния человека по изменениям в системе речеобразования. Авторский алгоритм основывается на оценке амплитуды звуковой волны и на гипотезе о том, что при изменении амплитуды звуковой вол-

ны меняется эмоциональное состояние абонента.

Приведем шаги авторского алгоритма, определяющего численные характеристики эмоций мобильного устройства:

• Звуковая волна, поступающая в мобильное устройство через микрофон, разбивается на такты равные

а 1t tt Й ttn j t const, где t0 t 0, i j jn .

• Формула для определения численного значения амплитуды гармонической эмоции Qg j на такте [ti, ti g j) описывается

формулой , t

CiG j j _

Q i(t )dt

tiG j й ti

Й Ci

где

Q1о ) - огибающая значений амплитуды звукового сигнала на такте [^,tiо 1), С, -амплитуда гармонической псевдоэмоции на предыдущем такте [^н 1з ti), где

Cj t

jQj(t )dt ^ C

О_, i t 1, n Й 1. Если CiG j от-

рицательное, то гармонической псевдоэмоции приписывают отрицательное значение, иначе - положительное, tn - время разговора с абонентом по мобильному устройству.

• Полученное значение С, о 1 подставляется в формулы (1) и (2) вместо константы Ро1, в результате подстановки следует формула

* **

* / ... МЛ 1(t) Т Со(t н ^ )», (3)

о 1 Н tl ...

где М,о 1(t) - эмоция мобильного устройства для i б 1 воспитательного такта, С, о 1 - величина, отвечающая за эмоциональное состояние человека.

С учетом соотношения (3) справедливо равенство:

, ,о 1 * / А

Яо 1 Т С1 ^П ^ Н ^ )»dt о 7Я,, (4)

* 1н t, ...

где 7 - коэффициент памяти устройства, i -порядковый номер воспитательного такта.

i g 1

i G1

Формулы (3) и (4) дают возможность наблюдать взаимосвязь между эмоциональным состоянием человека и эмоциональным состоянием мобильного устройства. Другими достоинствами предлагаемого алгоритма являются также возможность определения численного значения эмоции устройства в зависимости от звуковых характеристик голоса абонента и независимость значения эмоций мобильного устройства от языка абонента.

Легко видеть, что асимптотическая

сложность алгоритма равняется O(n2) , где п

- количество тактов, на которые разбивается звуковая волна.

Использование авторского алгоритма, основанного на математической теории эмоциональных роботов, позволяет придать некую эмоциональность мобильному устройству, настраивать и обучать мобильное устройство индивидуально для каждого абонента. В результате чего мобильное устройство начинает отражать некоторые психологические особенности своего владельца, а вычисленные значения воспитаний на основе работы [2] позволяют определить поведение робота в ответ на звуковые сигналы.

Заключение

В статье предложен алгоритм, позволяющий находить численное значение эмоции, которую испытывает человек. Найденное значение с учетом математической теории эмоциональных роботов [2] предлагается использовать в определении эмоций абонента и моделировании эмоционального состояния мобильного устройства.

Недостатком описанного в статье алго-

ритма является то, что алгоритм измеряет численные значения эмоций, но не распознает их тип. К достоинствам представленного алгоритма можно отнести следующее: алгоритм является достаточно простым (настройка алгоритма происходит автоматически), результаты работы алгоритма не зависят от языка произнесенных человеком фраз, алгоритм возвращает численное значение эмоций мобильного устройства и человека, что является его несомненным преимуществом по отношению к известным алгоритмам.

Список литературы

1. Лукьяница А.А, Шишкин А.Г. Автоматиче-

ское определение изменений эмоционального состояния по речевому сигналу // Речевые технологии. 2009.№ 3. С. 53-61.

2. Пенский О.Г., Черников К.В. Основы мате-

матической теории эмоциональных роботов: моногр. / Перм. гос. ун-т. Пермь, 2010. 256 с.

3. Розалиев В.Л. Моделирование эмоциональ-

ных реакций пользователя при речевом взаимодействии с автоматизированной системой // Известия ВолгГТУ. 2010. № 6. С. 76-79.

4. Розалиев В.Л. Моделирование эмоциональ-

ных реакций пользователя при речевом взаимодействии с автоматизированной системой: дис. ... канд. техн. наук. Волгоград, 2009.

5. Хейдоров И.Э., Янь Цзинбинь, У Ши, Соро-

ка А.М., Трус А.А. Классификация эмоционально окрашенной речи с использованием метода опорных векторов // Речевые технологии.2008.№ 3. С. 53-61.

Mathematical model of measuring emotional condition mobile subscriber

V. O. Mikhaylov

Perm State University, Russia, 614990, Perm, Bukirev st., 15 [email protected]; (342) 2 396-424

The article describes the relevance of the problem of measuring emotions caller's voice. Given the existing algorithms for recognizing emotions subscribers, and describes the strengths and weaknesses of these algorithms. Authors propose an algorithm to help eliminate the disadvantages of the described algorithms. It is shown that one of the virtues of the author's algorithm based on a general mathematical theory of emotional robots with non-absolute memory is that you can use it to simulate the emotions of mobile phones and computing their education. The article describes the formula showing the relationship between emotional state and emotional state of the mobile robot. Shows the asymptotic complexity of the author's algorithm.

Key words: emotion measurement; recognition; the subscriber; the robot; not absolute memory.