CC BY
16
УДК 519.6
ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ ПРИМЕНЕНИЯ НОРМАЛИЗАЦИИ ДАННЫХ В ЗАДАЧЕ МОДЕЛИРОВАНИЯ КАЧЕСТВА ВЗАИМОДЕЙСТВИЯ В ДИАЛОГАХ ТИПА «ЧЕЛОВЕК-ЧЕЛОВЕК»
О. А. Васьковская
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева
Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: [email protected]
Исследуется эффективность применения нормализации данных в задаче оценки качества речевого взаимодействия между людьми, что может быть использовано в системах автоматического мониторинга состояния экипажа.
Ключевые слова: нормализация данных, автошкалирование, анализ речи, Interaction Quality, классификация, интеллектуальный анализ данных.
THE RESEARCH OF THE EFFICIENCY OF DATA NORMALIZATION APPLICATION IN PROBLEM OF THE INTERACTION QUALITY MODELING IN HUMAN-HUMAN TASK-ORIENTED CONVERSATIONS
O. A. Vaskovskaya
Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: [email protected]
In this research we study the efficiency of database normalization applied for the interpersonal communication quality assessment, which may be used further in the systems of automated crew condition monitoring.
Keywords: database normalization, autoscaling, speech analysis, Interaction Quality, classification, data mining.
Развитие информационных технологий повлекло за собой активное внедрение электронно-вычислительной техники во все сферы деятельности человека. И как следствие одной из главных задач стало улучшение качества взаимодействия между компьютером и человеком. Одним из подходов для решения этой задачи является идея сделать поведение компьютера более похожим на поведение человека, что может быть достигнуто путем изучения диалогов между людьми с целью выявления особенностей общения для дальнейшего их использования в разработке речевых диалоговых систем.
Основным методом коммуникации между людьми служит речь, являющаяся индикатором уровня интеллекта и эрудиции человека, его эмоционального состояния и др. Речевой анализ может быть полезен в работах с повышенной ответственностью, например, в области пилотируемой космонавтики для разработки систем автоматического мониторинга состояния экипажа, когда необходимо отслеживать психологическое состояние членов экипажа для формирования общей картины происходящего на борту. Кроме того, речевая аналитика может применяться при переговорах об освобождении заложников для определения эмоционального состояния террористов и прогнозирования их действий.
Для решения задач подобного рода необходимо выполнять анализ большого объёма речевой информации с дальнейшей оценкой качества речевой коммуникации [1]. Сейчас широко распространены различные диалоговые системы, позволяющие автоматически получать подобную информацию. Существуют различные характеристики, которые позволяют оценить работу подобных систем. За счёт моделирования качества взаимодействия можно оценить как коммуникацию между людьми, так и взаимодействие между человеком и компьютерной системой.
Секция «Математические методы моделирования, управления и анализа данных»
Метрика качества Interaction Quality (IQ), предложенная А. Шмиттом [2], базируется на различных характеристиках речи и используется для оценки качества взаимодействия между компьютером и человеком. Моделирование IQ сводится к задаче классификации с пятью классами.
Предполагается, что диалоги без нарушений, в целом, должны быть оценены как удовлетворительные, тогда как диалоги, где возникают проблемы, нужно считать менее удовлетворительными. Следовательно, оценивается масштаб недовольства, а не масштаб удовлетворенности. Таким образом, получается следующая шкала: «5» (удовлетворительно), «4» (слегка неудовлетворительно), «3» (неудовлетворительно), «2» (очень неудовлетворительно), «1» (крайне неудовлетворительное). Таким образом, основной целью является выявление не положительных диалогов, а проблемных [3].
Для исследования качества речевого взаимодействия на основе диалогов между клиентами и агентами одной компании была разработана база данных проблемно-ориентированных диалогов. База состоит из 53 диалогов - 1165 обменов репликами, и включает аудио характеристики, пара-лингвистическую информацию и оценки экспертов. Средняя продолжительность диалога 99.051 секунд [4].
В каждом диалоге можно выделить высказывания агента и клиента, или совместные высказывания. Для каждого высказывания определена эмоция по одному из трёх наборов, приведённых в табл. 1.
Таблица 1
Описание наборов эмоций
em1 em2 em3
0 нет 0 нет 0 нет
1 злость 1 тревога 1 страх
2 грусть 2 гнев 2 гнев
3 грусть 3 грусть
3 нейтральные эмоции 4 отвращение 4 отвращение
5 скука 5 нейтральные эмоции
4 счастье 6 обычные эмоции 6 удивление (положительное)
7 счастье 7 счастье
Каждый из наборов эмоций может быть разделён на два (нейтральные и прочие эмоции) или на три класса (позитивные, нейтральные, негативные).
Данную задачу можно поставить в нескольких различных видах:
1) - это абсолютная шкала (1, 2, 3, 4, 5) по которой определяется качество взаимодействия. Всего присутствует только 3 класса: 3, 4, 5.
2) - шкала изменений (-2, -1, 0, 1, 2, а8Ь1). Присутствуют только классы -1, 0, 1. Далее эта шкала преобразуется к абсолютной шкале Щ2_аЬ8, исходя из предположения, что каждый диалог начинается со значения Щ =5 [1].
Каждый обмен репликами описывает около 1200 атрибутов. Одни атрибуты характеризуют сам обмен репликами, например, продолжительность речи каждого из говорящих, другой класс атрибутов описывает непосредственно речь участников диалога и наложение речевых сигналов, третий класс -атрибуты, которые характеризуют диалог в целом, к ним относится длительность пауз, процент наложения речи и другие [4].
Так как количество атрибутов очень велико, то необходимо производить выбор наиболее информативных признаков. Для этого использовался метод главных компонент (МГК). После применения МГК на всей базе с различными значениями накопленной дисперсии, по результатам тестирования было выбрано значение 0,99. Так как оригинальная модель МГК не содержит свободного члена и для выравнивания вклада каждой переменной в МГК модель, исходные данные нужно (пред)обработать. Для этого использовалось автошкалирование - комбинация нормирования и центрирования. Без применения нормализации МГК позволил снизить признаковое пространство до 40 компонент, с предобработкой данных - до «470.
Результаты классификации приведены в табл. 2.
Как видно из таблицы, во всех случаях классификаторы на нормированных данных показывают результаты лучше, чем без предобработки.
Таблица 2
Результаты классификации
МГК МГК с нормализацией МГК МГК с нормализацией
IQ1 IQ2 abs
Логистическая регрессия 0.339 [0,46;0,512] 0.274 [0,521;0,538]
Метод опорных векторов 0.327 [0,432;0,499] 0.234 [0,485;0,514]
Байесовский классификатор 0.34 [0,411;0,452] 0.274 [0,378;0,403]
Таким образом, метод главных компонент помог снизить размерность признакового пространства примерно в 2,5 раза, а применение автошкалирования помогло улучшить результаты моделирования.
В дальнейшем необходимо сравнить эффективность данного подхода с другими методами выбора информативных признаков при распознавании эмоций по речи [5, 6].
Библиографические ссылки
1. Interaction Quality in Human-Human Conversations: Problems and Possible Solutions / А. V. Spirina, E. S. Semenkin, A. Schmitt, W. Minker // J. of SFU Mathematics & Physics. 2015. № 8. Pp.217-223.
2. Schmitt A., Ultes S. Interaction Quality: Assessing the quality of ongoing spoken dialog interaction by experts - And how it relates to user satisfaction // Speech Communication. 2015. № 74. Pp. 12-36.
3. Schmitt, A., Schatz, B., Minker, W. Modeling and predicting quality in spoken human-computer interaction. // Association for Computational Linguistics. Pp. 173-184.
4. Human-human task-oriented conversations corpus for Interaction Quality modelling / A. V. Spirina, M. Yu. Sidorov, R. B. Sergienko, E. S. Semenkin, W. Minker // Vestnik SibSAU. 2016. № 17(1). Pp. 84-90.
5. Self-adaptive multi-objective genetic algorithms for feature selection / C. Brester, E. Semenkin, M. Sidorov, W. Minker // Proceedings of OPT-i 2014 - 1st International Conference on Engineering and Applied Sciences Optimization, Proceedings 1. 2014. Pp. 1838-1846.
6. Brester C., Semenkin E., Sidorov M. Acoustic emotion recognition: two ways of features selection based on self-adaptive multi-objective genetic algorithm // Proceedings of ICINCO 2014 - Proceedings of the 11th International Conference on Informatics in Control, Automation and Robotics 11. 2014. Pp.851-855.
© Васьковская О. А., 2016
