CC BY
13<Тешетневс^ие чтения. 2016
УДК 519.6
ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ АЛГОРИТМОВ КЛАССИФИКАЦИИ ДЛЯ ЗАДАЧ ОЦЕНКИ КАЧЕСТВА ДИАЛОГОВОГО ВЗАИМОДЕЙСТВИЯ ТИПА «ЧЕЛОВЕК-ЧЕЛОВЕК»
О. А. Васьковская, А. С. Полякова
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: [email protected]
В век развития информационных технологий повышение качества коммуникаций между компьютером и человеком является актуальной научно-технической задачей, встречающейся, в частности, в области пилотируемой космонавтики. Рассмотрены методы классификации для решения поставленной задачи.
Ключевые слова: речевой анализ, алгоритмы классификации, диалог типа «человек-человек», эволюционное исчисление, искусственные нейронные сети.
RESEARCH OF THE EFFICIENCY OF CLASSIFICATION ALGORITHMS FOR THE PROBLEM OF THE INTERACTION QUALITY MODELING IN HUMAN-HUMAN TASK-ORIENTED CONVERSATIONS
O. A. Vaskovskaya, A. S. Polyakova
Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: [email protected]
In the age of information technology development a problem of advancing the Computer-Human communication quality is important and, for instanse, is relevant to the field of manned cosmonautics. This article is about the classification of the possible methods to solve the problem.
Keywords: speech analysis, classification algorithms, 'human-human' type dialogue, evolutionary computation, artificial neural networks.
Развитие информационных технологий повлекло за собой активное внедрение электронно-вычислительной техники во все сферы деятельности человека. И, как следствие, одной из главных задач стало улучшение качества взаимодействия между компьютером и человеком, в том числе посредством речи. Одним из подходов для решения этой задачи является идея сделать поведение компьютера более похожим на поведение человека, что может быть достигнуто путем изучения диалогов между людьми с целью выявления особенностей общения для дальнейшего их использования в разработке речевых диалоговых систем.
Основным методом коммуникации между людьми служит речь, являющаяся индикатором уровня интеллекта и эрудиции человека, показателем его словарного запаса, также по речи можно определить возраст говорящего, его эмоциональное состояние и др. Эта информация может быть полезна во многих областях, например, в деятельности колл-центров для выявления проблем в работе агентов и определения степени удовлетворённости клиента. Для этого компьютерная система, анализируя различные показатели речи клиента, может выявить проблемные ситуации (например, изменение эмоционального состояния клиента в худшую сторону) и сообщить об этом оператору, который сможет вовремя предпринять нужные шаги.
Кроме того, речевой анализ может быть полезен в работах с повышенной ответственностью, например, в области пилотируемой космонавтики для разработки систем автоматического мониторинга состояния экипажа, когда необходимо отслеживать психологическое состояние членов экипажа для формирования общей картины происходящего на борту. Речевая аналитика может применяться при переговорах об освобождении заложников для определения эмоционального состояния террористов и прогнозирования их действий.
Для решения задач подобного рода необходимо выполнять анализ большого объёма речевой информации с дальнейшей оценкой качества речевой коммуникации. Сейчас широко распространены различные диалоговые системы, позволяющие автоматически получать подобную информацию. Существуют различные характеристики, которые позволяют оценить работу подобных систем. За счёт моделирования качества взаимодействия можно оценить как коммуникацию между людьми, так и взаимодействие между человеком и компьютерной системой.
Моделирование качества диалогового взаимодействия сводится к задаче классификации. «Interaction Quality - это метрика качества, которая используется для оценки качества взаимодействия между компью-
Математические методы моделирования, управления и анализа данных.
тером и человеком. Она базируется на различных характеристиках речи» [1].
Моделирование ^ сводится к задаче классификации, причем оценивается уровень недовольства, а не уровень удовлетворенности. Таким образом, основной целью является выявление не положительных диалогов, а проблемных [2].
Для исследования качества речевого взаимодействия на основе диалогов между клиентами и агентами одной компании была разработана база данных проблемно ориентированных диалогов [3]. Каждый обмен репликами описывается порядком 1200 атрибутов. Одни атрибуты характеризуют сам обмен репликами, такие как продолжительность речи каждого из говорящих, кто начинает говорить первым и т. д., другой класс атрибутов описывает непосредственно речь клиента, агента и наложение речевых сигналов, третий класс - атрибуты, которые характеризуют диалог в целом, к ним относится длительность пауз, процент наложения речи и др. [3].
Так как количество атрибутов велико, для того чтобы снизить вычислительную сложность, необходимо снизить размерность признакового пространства. Перед применением методов снижения размерности необходима подготовка данных - преобразования по переменным. В работе использовалась комбинация нормирования и центрирования - автошкалирование. Таким образом, МГК с предварительным применением автошкалирования позволил сократить размерность более чем в 2,5 раза.
В работе использовались как классические методы классификации (метод ¿-ближайших соседей, метод опорных векторов, наивный байесовский классификатор, логистическая регрессия), так и нейронная сеть с автоматическим формированием структуры и нейронная сеть, у которой самоконфигурируемый генетический алгоритм [4] настраивал весовые коэффициенты [5]. Результаты тестирования приведены в таблице.
Результаты тестирования
Алгоритм Результат
¿-т 0,6087730
LR 0,5379040
SVM 0,4975670
гак 0,3977290
Нейронная сеть + SelfCEA для формирования структуры 0,796297
Нейронная сеть + SelfCEA для настройки коэффициентов 0,601732
По таблице можно увидеть, что из классических методов лучший результат был получен при помощи алгоритма ¿-ближайших соседей, однако нейронная сеть, автоматически сгенерированная с помощью самоконфигурируемого генетического алгоритма, продемонстрировала большую эффективность. Исходя из этого, при решении задачи оценки качества диалого-
вого взаимодействия типа «человек-человек» целесообразно использовать именно этот метод классификации.
Библиографические ссылки
1. Interaction Quality in Human-Human Conversations: Problems and Possible Solutions / А. V. Spirina [et al.] // J. of SFU Mathematics & Physics. 2015, № 8. P. 217-223.
2. Schmitt A., Schatz B., Minker W. Modeling and predicting quality in spoken human-computer interaction / Association for Computational Linguistics. P. 173-184.
3. Human-human task-oriented conversations corpus for interaction quality modelling Proceedings / A. V. Spirina [et al.] // Vestnik SibSAU. 2016. Т. 17, № 1. P. 84-90.
4. Семенкина М. Е. Самоконфигурируемые эволюционные алгоритмы моделирования и оптимизации : дис. ... канд. техн. наук / СибГАУ. Красноярск, 2012. 203 с.
5. Васьковская О. А. Об использовании генетического алгоритма для настройки весовых коэффициентов искусственной нейронной сети // Проспект Свободный - 2016 : электрон. сб. материалов Междунар. науч.-техн. конф. студентов, аспирантов и молодых ученых. Красноярск, 2016. С. 14-17.
References
1. Spirina А. V., Semenkin E. S., Schmitt A., Minker W. [Interaction Quality in Human-Human Conversations: Problems and Possible Solutions]. Journal of SFU Mathematics & Physics. 2015, no. 8, p. 217-223.
2. Schmitt A., Schatz B., Minker W. [Modeling and predicting quality in spoken human-computer interaction]. Association for Computational Linguistics. P. 173-184.
3. Spirina A. V., Sidorov M. Yu., Sergienko R. B., Semenkin E. S., Minker W. [Human-human task-oriented conversations corpus for interaction quality modelling Proceedings]. Vestnik SibSAU. 2016. № 17, № 1. Pр. 84-90.
4. Semenkina M. E. Samokonfiguriruyemyye evolyutsionnyye algoritmy modelirovaniya i optimizatsii. Dis. ... kand. tehn. nauk. [Self-configuring evolutionary modeling and optimization algorithms. PhD. techn. sci. dis]. Krasnoyarsk, SibSAU Publ., 2012, 203 p.
5. Vaskovskaya O. A. [About use of genetic algorithms for adjustment of weighting coefficients artificial neural network]. Electronic collection of materials of the international scientific-technical conference of students, graduate students and young scientists "Prospect Free - 2016". Krasnoyarsk, 2016, pр. 14-17. (In Russ.)
© Васьковская О. А., Полякова А. С., 2016
