РАЗРАБОТКА СИСТЕМЫ РАСПОЗНАВАНИЯ КАЧЕСТВА ОБСЛУЖИВАНИЯ КЛИЕНТОВ С ПОМОЩЬЮ ТЕХНОЛОГИИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ Текст научной статьи по специальности «Компьютерные и информационные науки»

Информатика, вычислительная техника и управление

Б01 10.36622/У8Ти.2023.19.3.001 УДК 004.5

РАЗРАБОТКА СИСТЕМЫ РАСПОЗНАВАНИЯ КАЧЕСТВА ОБСЛУЖИВАНИЯ КЛИЕНТОВ С ПОМОЩЬЮ ТЕХНОЛОГИИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

Д.А. Баранов1, А.С. Тупицына1, В.Ф. Барабанов1, Н.И. Гребенникова1, К.В. Зольников2

воронежский государственный технический университет, г. Воронеж, Россия 2Воронежский государственный лесотехнический университет имени Г.Ф. Морозова,

г. Воронеж, Россия

Аннотация: виртуальные автоматические телефонные станции широко используются компаниями для общения с клиентами и обеспечения продаж товара и услуг. Однако успех компании напрямую зависит от работы тех сотрудников, которые контактируют непосредственно с клиентом: их производительность, понимание клиента, отсутствие факторов, способствующих снижению лояльности клиента. Имеется виртуальная автоматическая телефонная станция (далее - ВАТС) с реализованной речевой аналитикой, однако встал вопрос о её реализации путём использования технологий машинного обучения и искусственных нейронных сетей в частности. В современном бизнесе ВАТС является комплексным решением для организации офисной телефонии, а также эффективным инструментом для налаживания процесса продаж, улучшения клиентского сервиса и оптимизации бизнес-процессов. Кроме того, ВАТС позволяет решить проблему удалённых сотрудников и наладить коммуникацию между всеми филиалами и подразделениями компании, даже если они расположены в разных странах. Рассмотрены используемые методы обработки получаемого на вход текста, процесс очистки и подготовки данных, используемые слои нейронной сети, а также работающие в составе сети математические решения. В итоге работы получена модель искусственной нейронной сети, принимающая на вход текстовый вектор и возвращающая на выходе идентификационный номер признака плохого обслуживания/продаж

Ключевые слова: АТС, ВАТС, речевая аналитика, признаки плохого обслуживания, машинное обучение, нейронные сети, сети с долгой краткосрочной памятью

Введение

Средства коммуникации служат основой бизнеса и, следовательно, применение современного оборудования и актуальных принципов организации связи является залогом успешной деятельности в любой сфере. Хорошо подходящим средством, способным обеспечить надёжную связь, являются автоматические телефонные станции (далее - АТС). АТС - это система, которая служит для соединения телефонных линий управления входящими и исходящими вызовами без вмешательства со стороны человека [1]. В данном случае, связь производится посредством использования обычного телефонного аппарата, подключённого к АТС. Кроме того, стоит упомянуть, что АТС-оборудование также может иметь соединение и с внешними системами связи (например, городская телефонная сеть).

В контексте бизнеса собственная АТС даёт возможность разделить абонентов на внутренних и внешних, что позволяет минимизировать

© Баранов Д.А., Тупицына А.С., Барабанов В.Ф., Гребенникова Н.И., Зольников К.В., 2023

расходы на связь и тем самым увеличить рентабельность организации.

В данной статье речь пойдёт о виртуальных АТС (далее - ВАТС). ВАТС является полноценной АТС, но размещается не на физическом носителе, а на облачной платформе. Для такой системы характерна работа 1Р-телефонии, основанной на передаче данных через интернет при использовании технической базы и ПО провайдера. В качестве средства связи в ВАТС, помимо телефона, можно также использовать и любое вычислительное устройство: ПК, смартфон или планшетный ПК, имеющие подключение к сети Интернет. Всё это существенно упрощает и ускоряет процесс внедрения [2, 3].

В современном бизнесе ВАТС является комплексным решением для организации офисной телефонии, а также эффективным инструментом для налаживания процесса продаж, улучшения клиентского сервиса и оптимизации бизнес-процессов. Кроме того, ВАТС позволяет решить проблему удалённых сотрудников и наладить коммуникацию между всеми филиалами и подразделениями компании, даже если они расположены в разных странах.

Помимо наличия ВАТС и других инструментов, одной из важнейших составляющих, обеспечивающих успех ведения бизнеса, является качество обслуживания клиентов. В разрезе телефонии качество обслуживания клиентов формируется в процессе диалога с ними. Таким образом, возникает потребность в анализе разговоров на предмет наличия признаков некорректного поведения (плохого обслуживания) и/или продаж (далее - Речевая аналитика).

РА может быть использована для достижения следующих целей:

- улучшение производительности сотрудников контактного центра;

- повышение удовлетворённости клиентов путём увеличения уровня оказываемой «эмпатии» к клиентам;

- снижение расходов на содержание отделов связи и поддержки в целом;

- контроль дисциплины сотрудников;

- обнаружение мошенничества.

В рамках статьи будет предложена реализация речевой аналитики с использованием технологий машинного обучения и, в частности, обработки естественного языка (далее - КЬР).

Подготовка текстовых данных

Перед тем, как текст разговора подать на вход какому-либо «распознавателю», его необходимо привести к математическому виду путём прогона через конвейер NLP-методов. В контексте NLP понятие «текст» будет упоминаться под более формальным понятием -«документ».

Первым шагом в подготовке данных было получение их из базы данных при использовании возможностей СУБД и приложения, предоставляющего интерфейс для взаимодействия с СУБД. Кроме того, из БД была получена информация о РА-признаках - ГО кодовый номер и описание. В целях предотвращения повторного обращения к БД и контроля ресурсов.

Далее была произведена очистка данных от дубликатов и отсутствующих данных, а также переименование столбцов таблицы на более подходящие для дальнейшей работы.

Следующим шагом, используя Pandas-метод уа1ие_соийз, была получена информация о количестве образцов, содержащих тот или иной класс. Как можно увидеть на рис. 1, в контексте численности вхождений того или

иного класса, данные являются несбалансированными.

1 resutt_df.thesauri,value_countsС)

0 627124

1 1 32086

3 1257

7 380

1 193

6 52

5 39

2 9

S 1

9 1

10 1

Name: thesauri, dtype: int64 Рис. 1. Численность данных в таблице

Для того, чтобы «сгладить» дисбаланс классов в таблице, был произведён ряд мероприятий:

- удалена большая доля вхождений, с классом 0 таким образом, чтобы оставить их соразмерными по численности с вхождениями класса 111;

- в дефицитные классы добавлены липовые данные, которые наиболее вероятно могли бы отразить тот или иной класс;

- оставлены заметки о необходимости применения в процессе обучения методов регуляризации L1 и L2, снижающих влияние «доминирующего» класса;

В итоге была получена таблица длиной приблизительно в 70 тыс. строк, каждая из которых содержит короткую фразу и кодовый номер РА-признака. Результаты первичной подготовки данных были сохранены в соответствующий файл табличного формата CSV.

Первым шагом по обработке текста является очистка документа - удаление различного входа символов, фраз, которые имеют минимальный или даже отрицательный вклад в успешность распознавания. В результате работы сервиса по преобразованию речи в текст вряд ли будут иметься подлежащие удалению вхождения, однако не исключено, что их не будет и в различных текстовых выборках, которые могут подаваться на вход системе в целях обучения модели или распознавания признаков РА. Таким образом, подлежащими удалению являются следующие вхождения:

- пробельные символы: второй и более пробел между словами, табуляция, переход на новую строку;

- некоторые знаки препинания: тире, кавычки, точки с запятыми. Большинство из них могли бы появиться в тексте, полученном в результате транскрибации речи;

- слова, не несущие смысловой нагрузки и заполняющие «пустоту»: слова-паразиты, некоторые предлоги, имена собственные, числительные.

Следующими шагами будет выявление синтаксических зависимостей между словами и дальнейшее разделение текстов на предложения и отдельные морфологические единицы, каждая из которых будут представлены в виде отдельного образца. Для проведения этих операций было решено выбрать библиотеку SpaCy версии 3.5.0. При помощи этой работы были оставлены подлежащее, сказуемое, а также связанные с ними слова (например, определения).

Статичный текст невозможно представить в качестве входных данных для модели машинного обучения. Из известных алгоритмов формирования признаков был выбран чаще всего используемый алгоритм под названием TF-IDF (termfrequencyinverse - documentfrequency -частота слова - обратная частота документа), используемый для оценки важности слова в контексте категории, текста или их совокупности [4]. Кроме того, выбор в пользу TF-IDF пал по той причине, что он должен хорошо подойти для классификации фраз, а именно тем, что способен идентифицировать ключевые слова, которые наиболее характерны для данного документа, в отличие от общих слов, которые могут быть встречены во многих других.

Составляющая TF (частота слова) вычисляется в соответствии с формулой (1):

TF(w) = (1)

где w - слово, подлежащее вычислению;

d_w - количество вхождений слова w в документ;

d - общее количество слов в документе.

Составляющая IDF является мерой, которая определяет уникальность слова в коллекции документов, т.е. представляет собой отношение общего количества документов к тем, в которых встречается то или иное слово. IDF вычисляется в соответствии с формулой (2):

IDF(w) = log -р (2)

nw

где n - общее число документов;

n_w - число документов, содержащее слово w.

Таким образом, мера TF-IDF вычисляется согласно формуле (3):

TFIDF = TF • IDF. (3)

Так как таблица содержит большую численность слов, значимость документов решено было формировать на основе вектора, размерностью в 10 000 слов - такое количество позволит как добиться большей точности распознавания, так и обеспечить «вменяемую» нагрузку системы (рис. 2).

<¿8038x22245 sparse matrix of type '<class 'numpy.f'loat64,>' with 4V3768 stored elements in Compressed Sparse Row formats

Рис. 2. Представление текста в формат TF-IDF

Далее стоит обратить внимание на кодовые номера меток. Так как каждая метка содержит произвольное числовое значение, не идущее по порядку с другими, в контексте подготовки данных они были расценены как категориальные. Каждая из этих меток был закодирована в качестве порядкового номера, отвечающего за ту или иную метку. Для проведения подобной операции было решено использовать класс библиотеки Scikit-learn под названием OrdinalEncoder.

На рис. 3 показана реализация кодирования меток, а также вывод их закодированных вариантов и исходных.

ordinal_enooder = OrdinalEricoderQ у = ordina"L_encoder.fit_transform(df [['thesauri']]) print Cordinal_encoder.categories ) Vl

[arrayCI 0, 101, 102, 103, 105, 106, 107, 108, 109, 119, 111])]

v array([[10.], [10.], [10.],

[10.], [10.], [10.]])

Рис. 3. Представление меток из категориальных в числовые (порядковые)

Заключительным шагом в подготовке данных было разделение полученных результатов на две выборки: одна из них будет использоваться для обучения модели нейронной сети, а другая - для её тестирования. Для этого был

применён метод train_test_split, поставляемый библиотекой Scikit-learn. Выбор в пользу данного метода пал по тем причинам, что он может безошибочно разбить данные на нужные доли, а также перемешать их и сразу записать в соответствующие переменные. Таким образом, было получено 4 переменные:

- переменные x_train и x_test содержат в себе разреженные векторы TF-IDF признаков для обучения и тестирования модели соответственно;

- переменные y_train и y_test содержат в себе массивы соответствующих меток, используемых вместе с векторами для обучения и тестирования модели соответственно;

В результате проведённой работы были получены данные признаков и классов, полностью готовых к использованию в качестве входных данных к модели нейронной сети: как для её обучения, так и тестирования.

Формирование структуры нейронной сети и обучение

Для построения нейронной сети и её последующего обучения использовалась библиотека Tensorflow под оболочкой Keras. В модели использовался следующий перечень слоёв:

- входным в модель слоем является слой Input, имеющий количество нейронов, равное максимальной длине вектора, получаемого на вход. Длина вектора равна 10000 элементов;

- после прохода через слой Input, данные поступают на вход одному из основных слоёв модели - рекуррентному слою с долгой краткосрочной памятью (LSTM) [5], состоящему из 100 нейронов. На выходе слой возвращает новую последовательность;

- для замедления обучения и предотвращения переобучения, далее следует слой Dropout, отключающий 30 % поступающих в него нейронов;

- оставшаяся после отключения последовательность поступает на вход новому LSTM-слою, содержащим в себе 128 нейронов;

- после прохода через второй слой рекуррентного слоя, 30 % обнуляется, пройдя через слой Dropout, что позволяет снизить риск переобучения от LSTM с большим числом нейронов;

- выходным слоем является полносвязный слой Dense, возвращающий конечный ответ.

Графическая схема построенной нейронной сети показана на рис. 4.

Рис. 4. Схема нейронной сети

В процессе обучения модели ориентир производился на метрику accuracy. Хотя она не является исчерпывающим показателем качества обучения модели, она может дать предварительный итог работы (рис. 5).

U

° 86

— обучение — валидация

20 30

Эпоха

Рис. 5. График точности по эпохам Определение качества обучения модели

Для определения качества обслуживания, был произведён ряд вычислений метрик precision по формуле (4), recall по формуле (5) и f1 по формуле (6)

р =

TP

TP+FP'

r =

TP

TP+FN'

(4)

(5)

F1 = 2

р^г

TP

р+г ТР+-

(6)

Вычисление метрики происходило для каждого класса. Для этого использовались вектор прогнозов тестовой выборки и непосредственно вектор тестовой выборки. Для выделения значения ложно-позитивных и других значений использовались функции where и count_nonzero, поставляемые библиотекой numpy (рис. 6).

predicted.values = model. predieUx.test)

1

for eneoded.value in range[len(arilinal_encoiler.Mtegories_[SJ))*

y.test.filtered - ip.vihere(y_test -- encoded.volje, 1, 0) predicted.filtered - pp.BftereCpredicteiLvalues =- encpded.value, 1, 9)

true.positive - np,equnt.nonIaroCy_te&t_ftltered * pr9dictBd_fixtei*ed -- l) false.positive = pp.cauat.nonzeroCpreflicteü.filterea - y.test.filtereü == 1) false.negative = rip.cQijit_nonzero(y_test_fiLterea ■ predicted.filtered == 1)

label : ordinal_encoder.inverBi_trinsfori(npiarray([encodeOelui]).re5hape(-l, 1))[0][Q] precision = true_positive I (true.positive t false.pnsitiue) recall = true.positive / [true.positive + false.negatiuB) fl : 2 ft (precision * recall) / (precision * recall)

print(f'Hanep метки : flabal:3}\tp : {precision^.2}\tr - {recall:5.2^\tFl = )

Номер нетк.1

e.9S r = B.9J Fl = S.9Î

Рис. 6. Процесс поклассового вычисления метрик precision, recall и F1

Значения метрик по классам приведено в таблице ниже.

Значения метрик precision, recall и F1

РА-признак Метрика, % Кол-во меток

precision recall F1

Отсутствует 97 91 94 5171

Клиент хочет сделать заказ 82 82 82 686

Сотрудник упомянул акцию 96 94 95 1011

Невнятная речь 95 73 83 684

Жалобы клиентов 91 75 89 475

Оператор провоцирует клиента 94 68 83 170

Мат, грубости, оскорбления 94 70 80 724

Слова-паразиты, жаргон 91 98 94 854

Заключение

В итоге работы была получена модель искусственной нейронной сети, принимающая на вход текстовый вектор размерностью в 1000 элементов и возвращающая на выходе идентификационный номер признака плохого обслуживания/продаж (в случае его отсутствия - значение 0). Медианное значение метрик точности и полноты равно 94 % и 85 % соответственно. По причине малой численности некоторых классов и данных в целом, некоторые РА-признаки имеют относительно низкий показатель полноты. Несмотря на это, результат обучения модели было решено признать надлежащим к первичному внедрению.

В дальнейшей работе предстоит минимизировать дисбаланс классов в исходных данных, а также дополнить новыми ключевыми словами, в соответствии с которыми модель

Поступила 11.04.2023; пр

нейронной сети будет делать выводы о наличии признаков обслуживания.

Литература

1. Автоматическая телефонная станция АТС -принципы работы и применения | Телекоммуникационная компания «АСВА» - сетевое оборудование, системы связи и передачи данных URL: https://asvagroup.com/2020/05/avtomaticheskaya-telefonnaya-stancziya-princzipy-raboty-i-primeneniya

2. Как работает облачная АТС - статья от оператора New-Tel - URL: https://new-tel.net/blog/kak-rabotaet-oblachnaya-ats/

3. Что такое виртуальная АТС? URL: https://landcomm.ru/blog/chto-takoe-virtualnaya-ats/

4. Груздев А.В. Предварительная подготовка данных в Python: Том 1. Инструменты и валидация. М.: ДМК Пресс, 2023. 816 с.

5. Staudmeyer R.C., Morris E.R. Understanding LSTM - a tutorial into Long Short-Term Memory Recurrent Neural Networks. - arXiv:1909.09586v1, 2019. P. 42.

к публикации 16.06.2023

Информация об авторах

Баранов Дмитрий Алексеевич - магистрант, Воронежский государственный технический университет (394006, Россия, г. Воронеж, ул. 20-летия Октября, 84), e-mail: oblivvion333@gmail.com

Тупицына Анна Сергеевна - специалист, Воронежский государственный технический университет (394006, Россия, г. Воронеж, ул. 20-летия Октября, 84), e-mail: anna.typitsyna.00@yandex.ru

Барабанов Владимир Федорович - д-р техн. наук, профессор, Воронежский государственный технический университет (394006, Россия, г. Воронеж, ул. 20-летия Октября, 84), e-mail: bvf@list.ru

Гребенникова Наталия Ивановна - канд. техн. наук, доцент, Воронежский государственный технический университет (394006, Россия, г. Воронеж, ул. 20-летия Октября, 84), e-mail: g-naty@yandex.ru

Зольников Константин Владимирович - канд. техн. наук, доцент, Воронежский государственный лесотехнический университет имени Г.Ф. Морозова (394087, Россия, г. Воронеж, ул. Тимирязева, 8), e-mail: wkz@rambler.ru

DEVELOPMENT OF A SYSTEM FOR RECOGNIZING CUSTOMER SERVICE QUALITY USING ARTIFICIAL NEURAL NETWORK TECHNOLOGY

D.A. Baranov1, A.S. Tupitsyna1, V.F. Barabanov1, N.I. Grebennikova1, K.V. Zolnikov2

1Voronezh State Technical University, Voronezh, Russia 2Voronezh State University of Forestry and Technologies, Voronezh, Russia

Abstract: virtual automatic telephone exchanges are widely used by companies to communicate with customers and ensure sales of goods and services. However, the success of the company's work directly depends on the work of those employees who contact directly with the client: their productivity, understanding of the client, the absence of factors contributing to a decrease in customer loyalty. In this article we will talk about virtual PBX (hereinafter - VPBX). There is a VPBX with implemented speech analytics, but the question arose about its implementation through the use of machine learning technologies and artificial neural networks in particular. In modern business, VPBX is a comprehensive solution for the organization of office telephony, as well as an effective tool for establishing the sales process, improving customer service and optimizing business processes. In addition, VPBX allows you to solve the problem of remote employees and establish communication between all branches and divisions of the company, even if they are located in different countries. The article discusses the methods used for processing the text received as input, the process of cleaning and preparing data, the layers of the neural network used, as well as mathematical solutions working as part of the network. As a result of the work, an artificial neural network model was obtained that accepts a text vector as input and returns the identification number of a sign of poor service/sales at the output

Key words: speech analytics, topics of bad service, machine learning, neural networks, long-short time memory, natural language processing, PBX, HostedPBX

References

1. "Automatic telephone exchange ATE - principles of operation and application", Telecommunication company "ASVA" -network equipment, communication and data transmission systems, available at: https://asvagroup.com/2020/05/avtomaticheskaya-telefonnaya-stancziya-princzipy-raboty-i-primeneniya

2. "How the cloud PBX works - the article from New-Tel operator", available at: https://new-tel.net/blog/kak-rabotaet-oblachnaya-ats/

3. "What is a virtual PBX?", available at: https://landcomm.ru/blog/chto-takoe-virtualnaya-ats/

4. Gruzdev A.V. "Data Preconditioning in Python: volume 1, Tools and Validation" ("Predvaritel'naya podgotovka dannykh v Python: tom 1. Instrumenty i validatsiya"), Moscow, DMK Press, 2023, 816 p.

5. Staudmeyer R.C., Morris E.R. "Understanding LSTM - a tutorial into Long Short-Term Memory Recurrent Neural Networks", arXiv:1909.09586v1, 2019, p. 42 .

Submitted 11.04.2023; revised 16.06.2023 Information about the authors

Dmitriy A. Baranov - Master's student, Voronezh State Technical University (84 20-letiya Oktyabrya str., Voronezh 394006, Russia), e-mail: div8@bk.ru

Anna S. Tupitsyna - Specialist, Voronezh State Technical University (84 20-letiya Oktyabrya str., Voronezh 394006, Russia), e-mail: anna.typitsyna.00@yandex.ru

Vladimir F. Barabanov - Dr. Sc. (Technical), Professor, Voronezh State Technical University (84 20-letiya Oktyabrya str., Voronezh 394006, Russia), e-mail: bvf@list.ru

Natalia I. Grebennikova - Cand. of Sc. (Technical), Associate Professor, Voronezh State Technical University (84 20-letiya Oktyabrya str., Voronezh 394006, Russia), e-mail:g-naty@yandex.ru

Konstantin V. Zolnikov - Cand. of Sc. (Technical), Associate Professor, Voronezh State University of Forestry and Technologies (8 Timiryazeva str., Voronezh 394087, Russia), e-mail: wkz@rambler.ru