Виртуальный помощник с личностными характеристиками Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.8

ВИРТУАЛЬНЫЙ ПОМОЩНИК С ЛИЧНОСТНЫМИ ХАРАКТЕРИСТИКАМИ

Черногор Екатерина Алексеевна, студент 1-го курса,

Быков Алексей Евгеньевич, студент 1-го курса, Захарова Екатерина Алексеевна, студент 1-го курса, Куставинова Дарья Александровна, студент 1-го курса, Воловикова Зоя Александровна, студент 3-го курса; ФСиР ИГУ, Иркутск, РФ

Предложено упростить взаимодействие с цифровым устройством за счет человекоподобной модели для разговора, используя в качестве основного подхода визуализацию эмоций и имитацию взаимодействия с живым человеком. Рассмотренные задачи: анализ поведения целевой аудитории, подбор характера, внешности виртуального помощника, разработка поведенческой модели виртуального помощника, распознавание речи, ответ на реплику пользователя, визуализация эмоций.

Ключевые слова: виртуальный помощник; искусственный интеллект; интерфейс; распознавание речи; анализ сантиментов.

VIRTUAL ASSISTANT WITH PERSONAL CHARACTERISTICS

Chernogor Ekaterina Alekseevna, 1st year student,

Bykov Alexey Evgen'evich, 1st year student, Zaharova Ekaterina Alekseevna, 1st year student, Kustavinova Daria Aleksandrovna, 1st year student, Volovikova Zoya Aleksandrovna, 3rd year student; The Departmrnt of service and advertising, Irkutsk State University, Irkutsk, Russia

It was proposed to simplify the interaction with a digital device due to a human-like model for talking using emotion visualization and interaction with a living person as a basic approach. Considered tasks: analysis of target audience behavior, selection of character and look of a virtual assistant, development of a virtual assistant behavioral model, speech recognition, response to the user's replica, emotion visualization.

Keywords: virtual assistant; artificial intelligence; interface; speech recognition; sentiment analysis.

Для цитирования: Виртуальный помощник с личностными характеристиками / Е.А. Черногор, А.Е. Быков, Е.А. Захарова, Д.А. Куставинова, З.А. Воловникова // Наука без границ. 2019. № 7(35). С. 137-140.

Сейчас компьютерная отрасль переживает становление новых типов интерфейсов. Помощники с элементами искусственного интеллекта уже сегодня способны серьезно упрощать работу с мобильными и стационарными компьютерами, которым для выполнения простых задач достаточно дать короткий запрос, даже не подходя

к гаджету; компьютер становится намного проще для общения, если оба интерфейса работают сообща. Однако если мы добавим помощнику эмоциональность, то пользователю будет проще с ним взаимодействовать, а анализ эмоций поможет избежать возможных ошибок в общении [1].

Поэтому мы поставили перед собой

наука без границ • № 7 (35) • 2019

удивительный мир

цель - упростить взаимодействия с цифровым устройством за счет человекоподобной модели для разговора. Отличительная особенность нашего подхода - визуализация эмоций, основанная на анализе речи пользователя, имитация взаимодействия с живым человеком за счет биографии виртуального помощника.

Для достижения этой цели выделены следующие задачи:

• анализ поведения целевой аудитории;

• подбор характера и внешности ВП1, вызывающих положительный отклик у большинства пользователей;

• разработка поведенческой модели ВП;

• распознавание речи;

• ответ на реплику пользователя;

• визуализация эмоций.

Как правило, бот-помощник решает

конкретную задачу, поэтому он выполняет ограниченный набор функций, прописанных в программе. Задача бота - консультировать абитуриентов по вопросам, связанным с поступлением в вуз, следовательно, целевая аудитория - абитуриенты, молодые люди от 14 до 18 лет. Бот должен поддерживать небольшой диалог на отвлеченные тематики (погода, настроение, последние события в мире).

На основании сформулированных задач сначала разработана человекоподобная модель, а потом реализован алгоритм реакции помощника на действия человека. Общая схема работы программы следующая (схема 1): сначала происходит распознавание речи, далее определение принадлежности вопроса к предзаданной базе и в соответствии с результатом происходит решение, какой дать ответ, также в зависимости от этого происходит визуализация эмоции.

Схема 1. Общий алгоритм работы

1 Виртуальный помощник - это программное обеспечение, созданное для того, чтобы выполнять несложные команды пользователя; с развитием технологий сложность и количество выполняемых задач увеличивалось, таким образом, сейчас виртуальный помощник рассматривается как консультант, собеседник для разговора или секретарь.

Для выбора характера и внешности бота производилась оценка путем социологического опроса среди школьников и студентов младших курсов. Проработана схема эмоциональной реакции виртуального помощника в зависимости от контекста, произнесенного пользователем, и предзаданная база вопросов и ответов. Для создания целостной модели бота-помощника написана его биография, подобраны внешность и стиль, максимально соответствующие персонажу.

Распознавание речи было реализовано с помощью библиотек SpeechRecognition

Где current word - это слово из текущего вопроса, question. - это вопрос из базы, word. - слово из вопроса, distance() - это расстояние Левенштейна между двумя строками, а length() соответственно - длина строки.

По этой формуле сначала находим сумму расстояний между каждым словом из текущего вопроса и словами из базы вопросов для i-го вопроса и нормируем это, поделив на длину i-го вопроса, после этого собираем вместе значения слов текущего вопроса по отношению к i-му вопросу и снова это нормируем, поделив на длину i-го вопроса, а в самом конце просто находим индекс минимального коэффициента, который должен соответствовать заданному вопросу. Таким образом, мы избегаем орфографических ошибок и неточности формулировки вопроса. После этого находится расстояние для текущего вопроса и предсказанного формулой вопроса. И, если минимальный коэффициент из формулы меньше 3 или расстояние по двум вопросам меньше 0,6, тогда считается, что запрос предзадан, а значит, возвращается

и PyAudio. PyAudio отвечает за доступ и управление микрофоном, а SpeechRecognition непосредственно за распознавание речи. Для распознавания используется класс Recognizer, возвращающий звуковую дорожку, очищенную от посторонних шумов с помощью метода adjust_for_ambient_noise. Далее звук переводится в строку с помощью метода recognize_google [2].

Получив текущую реплику пользователя, определяем тип: предзаданный или нет. Определение происходит с использованием коэффициента корреляции по приведенной ниже формуле:

wordj) \ -: lentil (question^) )

соответствующий ответ, иначе возвращается ответ диалогового модуля, который как раз и отвечает за поддержание диалога.

Для разработки диалогового модуля использовалась библиотека DeepPavlov, позволяющая использовать встроенную QuestionAnsweringModel, обученную на наборе данных SDSJ Task B для ответа на вопрос по заданному контексту. Так как заранее тренированная модель занимает около 5 GB памяти и время ответа модели сильно зависит от мощности процессора, был создан сервер на фреймворке Flask для взаимодействия с ней. Чтобы получить ответ сервера, отправляется POST запрос, содержащий вопрос. В полученном ответе содержится ответ на заданный вопрос.

Графический интерфейс выполнен с помощью библиотеки pygame. Интерфейс состоит из окна с gif изображением персонажа, которое меняется в зависимости от тональности ответа на заданный пользователем вопрос, затем воспроизводится синтезированный ответ бота с помощью класса engine и метода say(), входящих в

наука без границ • № 7 (35) • 2019

удивительный мир

состав библиотеки pyttsx3 [3].

Сейчас интерфейс находится в процессе тестирования, наша команда работает над расширением и улучшением базы эмоций.

Такие компании, как Huawei, Magic Leap, Mit Media Lab, в данный момент так или иначе реализуют своих помощников или ПО, направленное на эмоциональное вовлечение человека. Этот факт показывает, что эмоциональное вовлечение пользователя - сейчас довольно актуальная тема.

В дальнейшем планируется улучшить

работу диалогового модуля для непред-заданных вопросов, поменять 2D- на 3D-поведение бота-помощника, построить и перейти на более сложную модель поведения бота, перевести приложение в дополненную реальность. Добавить наш собственный модуль анализа на сантименты (он уже в разработке), расширить возможность распознавания, добавив анализ тембра голоса, совместить мобильную часть проекта, написанную в Unity на С# с текущей.

СПИСОК ЛИТЕРАТУРЫ

1. Чат-боты: что бизнес думает о виртуальных помощниках [Электронный ресурс]. - Режим доступа: https://vc.ru/services/66319-chat-boty-chto-biznes-dumaet-o-virtualnyh-pomoshchnikah

2. ИИ на Python для распознавания голоса и выполнения команд [Электронный ресурс]. - Режим доступа: https://itproger.com/news/157

3.Pyttsxtexttospeech[Электронныйресурс].-Режимдоступа:https://pythonprogramminglanguage. com/text-to-speech/

REFERENCES

1. Chat-boty: chto biznes dumaet o virtual'nyh pomoshchnikah [Chatbots: what business thinks about virtual assistants]. Available at: https://vc.ru/services/66319-chat-boty-chto-biznes-dumaet-o-virtualnyh-pomoshchnikah

2. II na Python dlya raspoznavaniya golosa i vypolneniya komand [Python AI for voice recognition and command execution]. Available at: https://itproger.com/news/157

3. Pyttsx text to speech. Available at: https://pythonprogramminglanguage.com/text-to-speech/

© Черногор Е.А., Быков А.Е., Захарова Е.А., Куставинова Д.А., Воловикова З.А., 2019