CC BY
50Д.М. РОГОЗИН, М.С. ВЫРСКАЯ
КОММУНИКАТИВНЫЕ СБОИ В РОБОТИЗИРОВАННОМ ТЕЛЕФОННОМ ОПРОСЕ И СПОСОБЫ ИХ ПРЕОДОЛЕНИЯ
Аннотация. В статье представлены результаты роботизированного опроса, проведенного Лабораторией методологии социальных исследований Института социального анализа и прогнозирования РАНХиГС при поддержке компании Voice Communication и Автономной некоммерческой организации «Социальная валидация». Опрос проводился для отбора по общероссийской выборке жителей сельской местности. Всего собрано 599 телефонных номеров, идентифицированных роботом как сельские. Для этого пришлось набрать 64 623 номера, из них по 7 310 была установлена связь, и 2 703 абонентам был задан первый вопрос. Затем из соединений, по которым роботом была установлена идентификация абонента (село, город или статус не определен), были отобраны 300 для дальнейшего кодирования и прослушивания аудиозаписей.
Все ответы респондентов разделены на две группы: кодируемые, или имеющие однозначное соответствие с предлагаемыми закрытиями, и некодируемые, по которым робот должен был проводить ремонт. Выявлено пять типов некодируемых ответов: расширенный ответ, прерывание вопроса, встречный вопрос, альтернативная повестка и служебный фрейм. По каждому типу некодируемых ответов предложены варианты ремонта и улучшения скрипта роботизированной анкеты.
Ключевые слова: вопрос-ответная коммуникация; коммуникативный сбой; некодируемый ответ; ремонт ответа; роботизированный опрос; служебный фрейм; стандартизированное телефонное интервью.
Для цитирования: Рогозин Д.М., Вырская М.С. Коммуникативные сбои в роботизированном телефонном опросе и способы их преодоления // Социологический журнал. 2019. Том 25. № 2. С. 33-59. DOI: 10.19181/ socjour.2019.25.2.6385
Рогозин Дмитрий Михайлович — кандидат социологических наук, заведующий Лабораторией методологии социальных исследований, Российская академия народного хозяйства и государственной службы при Президенте РФ (РАНХиГС); старший научный сотрудник, Институт социологии ФНИСЦ РАН.
Адрес: 119034, Москва, Пречистенская наб., д. 11, каб. 404. Телефон: +7 (495) 695-11-62. Электронная почта: [email protected] Вырская Марина Сергеевна — кандидат философских наук, старший научный сотрудник, Лаборатория методологии социальных исследований, РАНХиГС. Адрес: 119034, Москва, Пречистенская наб., д. 11, каб. 404. Телефон: +7 (495) 695-11-62. Электронная почта: [email protected]
Нынешний век отмечен резким ростом телефонизации и автоматизации во всех странах благодаря массовому распространению сотовой связи. Россия — не исключение. Неудивительно, что телефонные интервью за последние 10—15 лет из маргинального метода проведения опросов в нашей стране перешли в разряд доминирующего, определяющего развитие всей опросной отрасли. Скорость технологических изменений в последние годы впечатляет.
Еще не в полной мере освоена методология телефонных опросов, а их уже теснят многочисленные варианты онлайн-исследований, в которых комбинируются технология анкетирования, большие данные, интерактивные способы коммуникации [10]. Основными конкурентными преимуществами онлайн-опросов по сравнению с телефонными (как когда-то телефонных по сравнению с личными) выступают скорость, стоимость, качественное и количественное расширение параданных.
Роботизация, частичная или полная, дает телефонным опросам новый шанс для развития. Одним из первых решений стала система интерактивных голосовых ответов (interactive voice response, IVR), или система распознавания ответов. Предварительно записанные вопросы, разбитые на основные и дополнительные, задаются респонденту, который вводит ответ на клавиатуре телефона, переключившись в тоновый режим.
В массовых опросах система распознавания ответов стала активно использоваться с конца 1990-х гг. Так, в 1999 г. Институт Гэллапа провел опрос с помощью IVR об удовлетворенности потребителей на выборке в миллион человек [21, p. 266, 276]. Уже тогда исследователи пришли к выводу, что основным преимуществом роботизированного опроса является сокращение социально одобряемых ответов. Однако слабой чертой IVR признавалась доля отказов респондентов от опроса, большое количество сбросов звонка.
В начале 2000-х роботизированные звонки стали использоваться в предвыборных опросах. В отчете рабочей группы Американской ассоциации исследователей общественного мнения указывается, что разницы в точности предвыборных замеров между обычными автоматизированными телефонными интервью (CATI) и системой голосовых интерактивных вопросов (IVR) не обнаружено [8]. По мнению Нейта Сильвера, в 2012 г. уровень ошибок в оценках электорального поведения, замеряемых посредством роботизированных опросов, соответствовал среднему уровню [20]. Исследователи также обращают внимание на различие ответов респондентов, отвечающих роботу и человеку. В первом случае респонденты чаще отдают предпочтение республиканцам, во втором — демократам.
Возможно, это связано не столько с роботом, сколько с тем, что такие опросы проводились на стационарных телефонах, а обычные — и на стационарных, и на мобильных. Дело в том, что роботизированные телефонные звонки в США регулируются на законодательном
уровне. Например, их нельзя совершать на сотовые телефоны, а кроме того, в начале разговора с роботом обязательно должна звучать информация, кто проводит опрос и как можно связаться с этим человеком или организацией. В некоторых штатах роботизированные звонки просто-напросто запрещены или разрешены на разных условиях (например, звонок должен завершаться сразу же, как только получен последний ответ, — никаких посторонних записей).
Мик Купер пишет, что не следует обобщать методологические результаты применения IVR в предвыборных опросах на исследования других тем, в том числе на социальные исследования — предпочтительно или нет использовать этот инструмент вместо обычного CATI станет ясно только после проведения с помощью него опросов на разные темы [11, p. 903]. Поэтому чрезвычайно важно не только проводить опросы, набирая опыт в процедурных и организационных вопросах, но и конструировать, реализовывать экспериментальные планы, создавая основу для методологической рефлексии по поводу роботизированной коммуникации.
За два десятилетия активного применения системы распознавания ответов с тоновым режимом фиксации ответа накоплен значительный методический опыт. Доказана высокая эффективность подобных звонков, снижение социально одобряемых ответов, повышение откликов на сенситивные вопросы [14; 12] и т. д. Однако современные технологии в автоматизированном режиме не только позволяют задавать вопросы и механически регистрировать введенные с клавиатуры ответы, но и распознавать голос респондента, а значит, полностью автоматизировать процесс коммуникации.
О полной автоматизации коммуникации между роботом и человеком начали активно писать в конце 1990-х — начале 2000-х [13; 9]. Уже через десять лет стало возможным говорить о бурном росте разработок автоматизированных коммуникативных систем и голосовых помощниках. Именно тогда стали активно внедряться различные чатботы (A.L.I.C.E., chatmaster, nai2010, Арти, Chat We Bot, Nicole, Элиза и др.) [3, c. 81; 6]. Затем флагманами интернет-индустрии запущены исследовательские проекты, получившие реализацию в массовых продуктах, голосовых помощниках (Siri в Apple, Google Assistant в Google, Amazon Alexa в Amazon, Cortrana в Microsoft, Алиса в Яндексе). Голосовые помощники постепенно вытесняют иные способы взаимодействия с электронными системами и задают новый тренд в роботизации повседневности.
Новый, модернизированный, способ коммуникации между роботом и человеком еще не попал в поле методических экспериментальных планов. Исследовательское сообщество лишь тестирует возможности роботизированных опросов. Поэтому так важно на первом этапе развивать методическое тестирование нового роботизированного инструмента, основанного исключительно на голосовых формах коммуникации.
Аналоговая система распознавания ответов построена на полной автоматизации общения робота и человека. Причем человек может не догадываться, что общается с роботом. Именно этот формат взаимодействия мы предлагаем рассмотреть с точки зрения коммуникативных сбоев, ошибок и недоразумений. Иными словами, задачи настоящей работы — через ошибки и сбои в коммуникации между роботом и человеком актуализировать вопросы стандартизации, изучить особенности эффективных практик ремонта отклоняющейся коммуникации, предложить решения по ремонту некодируемых ответов и поддержанию стандартизированной коммуникации.
Параметры роботизированного опроса
В июне 2018 г. в Лаборатории методологии социальных исследований Института социального анализа и прогнозирования РАНХиГС при поддержке компании Voice Communication и Автономной некоммерческой организации «Социальная валидация» был проведен роботизированный телефонный опрос. Наша цель состояла в отборе по общероссийской выборке жителей сельской местности. Отбор проходил в две волны. В первой волне сгенерировали общероссийскую выборку по всем стратам — Центр, Урал, Сибирь, Восток, Столицы (Москва, Санкт-Петербург и области). Робот, задав скрининговые вопросы, собрал 270 целевых номеров. Во второй волне выборка была сформирована только по центральной и столичной стратам, робот отобрал 329 целевых номеров. Итого у нас получилось 599 номеров, идентифицированных роботом как сельские. Для этого пришлось набрать 64 623 номера, из них по 7 310 была установлена связь, и 2 703 абонентам был задан первый вопрос. Итого доля сельских жителей из тех, кому был задан первый вопрос («Вам больше шестнадцати лет? Скажите да или нет»), составила 22%, из всех набранных роботом номеров — 1%.
Система может совершать в час 300 000 и более звонков. Дозвон в первой волне проводился полчаса: 25 июня с 11:44 до 12:13. Во второй волне — чуть дольше часа: 4 июля с 11:10 до 12:18. Одномоментно система набирала примерно 250 телефонных номеров. В основном (в 98% случаев) совершалась одна попытка дозвона, однако по 2% номеров (1 527) дозвон проходил 2—3 раза, из них 13 номеров в итоге оказались сельскими.
Среднее время ответа респондента, проживающего в селе, составляет 47 секунд (минимум — 32 сек., максимум — 71 сек.). Мы изначально поставили условие, чтобы после последней фразы робота трубка не вешалась еще 10 секунд, или чтобы респондент сам повесил трубку. Такая задержка необходима по двум причинам. Во-первых, окончание разговора не будет резким, не прерывается речь респондента и не нарушаются условия вежливости. Во-вторых, появляется возможность услышать реакцию респондента на разговор с автоматизированной системой.
Выборка для робота состояла из 30% стационарных и 70% мобильных телефонов. В результате прозвона двух волн мы получили 13—14% стационарных и 86—87% мобильных сельских номеров (см. табл. 1).
Таблица 1
Типы телефонов роботизированного опроса, %
Волна
Тип телефона - Всего (п=599)
1-я (п=270) 2-я (п=329)
стационарный 13 14 14
мобильный 87 86 86
Всего 100 100 100
По всей видимости, как доля пользователей стационарными телефонами, так и достижимость по ним постепенно снижаются. Установленные пропорции мобильных и стационарных телефонов в выборке соответствовали экспериментальным планам четырехлетней давности и подлежат пересмотру.
Алгоритм обработки ответа
Анкета состоит из двух вопросов: 1) «Вам больше 16 лет? Скажите да или нет»1 и 2) «Вы проживаете в сельской местности? Скажите да или нет». Робот, задававший вопросы, имел приятный женский голос без какого-либо акцента и четкую дикцию.
Алгоритм работы робота (аналоговой системы) был следующий (на примере с вопросом про возраст):
1) слушает респондента;
2) переводит высказывание респондента в текст;
3) удаляет «мусорные» слова в соответствии с грамматикой: я, я же, я уже, у меня, мне, наверно, наверное, скорее всего, пока, вообще, думаю, ну, э;
4) сравнивает полученный текст с предложенными вариантами ответов — «да» и «нет»:
ДА: да, хорошо, ага, угу, о'кей, правильно, допустим, предположим да, было дело, возможно, вроде, конечно, может быть, наверно, очень может быть, так точно, таки да;
НЕТ: нет, неа, наверно нет, исключено, не так, нет вовсе, нет наверно, нет не так, никак нет;
5) возвращает полученное значение, если находит совпадение; находит ошибку, если совпадений нет.
6) присваивает ответам одно из значений: до 16; старше 16.
Если возраст респондента распознавался как «меньше 16 лет», то
робот прощался: «Извините, пожалуйста, но мы опрашиваем только совершеннолетних граждан. Спасибо за вашу готовность принять участие в опросе. До свидания!». Разумеется, используя расширенную грамматику, качество распознавания можно улучшить.
1 В данном исследовании мы опрашивали людей старше 16 лет.
Аналогичный алгоритм работы, но с другим словарем, применялся и в вопросе про место проживания: «Вы проживаете в сельской местности? Скажите да или нет». В случаях затруднения с распознаванием реплики респондента, отклонения респондента от опросного задания, сбоя связи задавался один из дополнительных вопросов:
1) «Я не слышу, вы проживаете в сельской местности?»
2) «Я не поняла, вы проживаете в сельской местности?»
3) «Скажите "Да", если вы живете в селе или деревне».
4) «Я не слышу. Скажите "Да", если вы живете в селе или деревне».
5) «Я не поняла. Вы скажите "Да", если вы живете в селе или деревне».
Если ответ респондента кодировался как «да» или «нет», опрос
завершался развернутой фразой: «Спасибо за ваши ответы, они помогут нам понять, сколько людей живет в сельской местности. Ваш телефон выбран случайным образом. Мы благодарны за вашу помощь. До свидания!». Если робот не мог распознать ответ респондента, то финальная фраза была такой: «Спасибо за вашу готовность принять участие в опросе. До свидания!» (см. Приложение).
Таким образом, алгоритм, определяющий работу аналоговой системы распознавания ответов, содержит три компонента: А — предварительно составленные словари, В — роботизированную форму коммуникации и обработки данных, С — реплики респондента (рис. 1).
Рис. 1. Алгоритм обработки ответа
Простейшая форма коммуникации между роботом и человеком, теоретически разработанная в 1960-х гг. [16], полностью определяется поведением человека. Технически робот скорее играет роль расшифровщика сообщений, нежели собеседника [22, р. 394]. Для чего требуются
предустановленные словари. Во-первых, словарь удаляемых слов, позволяющий освободить транскрипт от шумов и нерелевантных сообщений. Во-вторых, словарь кодируемых слов, предназначенный для идентификации и кодирования ответа. Если человек дает однозначные, кодируемые ответы, робот без сбоев поддерживает коммуникацию и кодирует ее результат. Если респондент сбивается, дает некодируемые ответы, робот ремонтирует коммуникацию посредством дополнительных вопросов. На рис. 1 представлены лишь два цикла вопрос-ответной коммуникации: первичный, с основным вопросом, и уточняющий, с дополнительным. Программными средствами устанавливаются дополнительные циклы (см. Приложение). Получая нераспознанный ответ, робот не кодирует его, а задает дополнительный вопрос.
Валидность роботизированного опроса
Результативность опроса определяется долей целевых телефонных номеров, распознанных из спроектированной выборки. Валидность — качеством распознавания в трех группах ответов основного целевого признака — проживание в сельской местности. К первой группе относятся ответы, по которым можно утверждать, что респондент проживает в селе, ко второй — что не проживает, к третьей — ответы, по которым нельзя вынести суждение о проживании или непроживании респондента в сельской местности.
Всего завершенных диалогов робота и респондента, по которым автоматизированная система проставила коды, — 1637. Из них 599 опрошенных, или 37%, определены как проживающие в селе; 742, или 45%, — в городе; 296, или 18%, — не определены.
Чтобы проверить качество распознавания ответов, при прослушивании аудиозаписей из 1637 завершенных кодированием разговоров отобраны и закодированы 300, по сто наблюдений в каждой группе. Затем каждый разговор закодирован на предмет соответствия выбора робота и ответа респондента.
Лучше всего робот идентифицировал ответы горожан — 97% ответов, закодированных роботом как ответы проживающих в городе, соответствовали словам респондентов. Процент корректного кодирования жителей сельской местности чуть ниже — 90%. И минимальная величина корректного кодирования относится к группе ответов, по которым робот не смог идентифицировать проживание в селе или городе, — 56%. Иными словами, при дополнительном прослушивании аудиозаписи из состоявшегося диалога нельзя однозначно определить, где проживает человек, и кодировка робота корректна.
Всего доля правильно распознанных ответов равна 81%. Это довольно высокий показатель валидности автоматизированной процедуры.
Отсутствие паузы между приветствием и первым вопросом, которая могла бы означать вежливое ожидание обратной реакции, а также ритм «да / нет» не оказали заметного негативного влияния на снижение
предрасположенности респондентов к собеседнику. 46% участников опроса сказали роботу: «до свидания», «пока», «счастливо», «спасибо» или «пожалуйста», — а не просто вешали трубки. То есть роботизированный разговор, по крайней мере на коротком временном отрезке, когда вопросы простые и нет раздражающих сбоев, не увеличивает количество неответов.
Некодируемые ответы
Вопрос-ответная коммуникация в стандартизированном интервью делится на два типа. Первый — это устойчивая последовательность, которую описывают базовые требования стандартизации (см. нижний ряд рис. 2). Задается анкетный вопрос, респондент предъявляет кодируемый ответ; интервьюер, в нашем случае робот, подтверждает полученный ответ.
Некодируемый
ОТВеТ ответив
соответствует
допустимому
набору
Анкетный
ВОПРОС Допустимый набор ~~
Ремонт
ответа Стратегии
получения
допустимого ответа
Кодируемый
ОТВеТ Точное
Подтверждение
неответа Отказ от ответа Затрудняюсь
Подтверждение ответа
соответствие одномуиз ответов допустимого набора
Точное соответствие озвученного и записанного ответа
Рис. 2. Последовательности вопрос-ответной коммуникации
Второй тип — неустойчивая, или циклическая, последовательность, возникающая из-за коммуникативного сбоя [1]. Если респондент дает некодируемый ответ, робот вынужден проводить ремонт коммуникации, задавать дополнительные вопросы, а затем подтверждать ответ или неответ респондента.
Первый тип вопрос-ответной коммуникации наиболее релевантно представлен в линейной модели Гарольда Лассуэлла [15], в которой выделяется пять основных элементов: кто говорит, что говорит, по какому каналу, кому и с каким эффектом. Второй — хорошо описывается математической моделью Клауд Шеннон и Уоррена Уивера [19] и циркулярной моделью Вилбура Шрамма и Чарльза Осгуда [17; 18], в которых значимыми элементами становятся шумовые эффекты (семантический шум) и взаимозависимые потоки сообщений (см. краткое описание моделей: [7, с. 25]). В обоих типах вопрос-ответной коммуникации возможны сбои в распознавании ответов. Иными словами, робот устанавливает код, не соответствующий ответу. Например, редко, но встречаются случаи, когда респонденты отвечали, что им меньше 16 лет, а опрос продолжался. Иногда происходил технический сбой, и дозванивались до автоответчика
(например, автоответчика какого-либо учреждения или самой телефонной линии, оповещающего, что номер ни за кем не закреплен); часто связь устанавливалась с гудками или музыкой на линии. Тогда робот «опрашивал» другого робота, гудки или музыку. Такие «ответы» расценивались по-разному — как «неверный ввод», как «да» и как «нет».
Разумеется, технические ошибки такого рода требуют доработки — расширения грамматического диапазона — и могут быть со временем устранены. Гораздо сложнее обстоит дело с распознаванием разного рода коммуникативных сбоев, возникающих в ходе разговора робота с человеком.
Прослушав 300 аудиозаписей телефонных интервью робота с человеком, мы выделили пять основных типов некодируемых ответов (рис. 3).
Рис. 3. Пять типов некодируемых ответов и рекомендации по их ремонту
Расширенный ответ, прерывание вопроса и встречный вопрос относятся к реакции респондента, выходящей за рамки опросного задания. Альтернативная повестка и служебный фрейм — к контексту коммуникативной ситуации, вновь не соответствующему опросному заданию. Рассмотрим каждый тип некодируемых ответов.
Расширенный ответ
Самый распространенный тип коммуникативного сбоя связан с расширенным ответом респондента. Робот не может выйти за рамки прописанного алгоритма, что приводит к ошибочному кодированию ответа. Вероятность ошибки увеличивается при плохих связи или дикции респондента. Рассмотрим первый фрагмент.
Фрагмент 1
1. И (интервьюер): Вы проживаете в сельской местности? Скажите да или нет.
2. Пауза 4 секунды.
3. Р (респондент): Да.
4. И: Я... Я не поняла. Проживаете в сельской местности?
5. Пауза 4 секунды.
6. Р: Ой, сельская местность. Да. (Отчетливо первая фраза. Понижение интонации на «да»).
7. И: Спасибо за вашу готовность принять участие в опросе. До свидания.
Вопрос о проживании в сельской местности заканчивается прямой
инструкцией: «скажите да или нет» (фрагмент 1, строка 1). И респондент дает однозначный ответ (фрагмент 1, строка 3). Но из-за помех связи робот не распознает короткого ответа и задает дополнительный вопрос, который уже не сопровождается инструкцией. Респондент реагирует на возникшее недопонимание: «ой, сельская местность» — и тут же, без паузы подтверждает первоначальный ответ (фрагмент 1, строка 6). Но в наборе слов робот не распознает утверждение и заканчивает разговор. Дополнительная реплика респондента, высказанная с ударением: «Ой, сельская местность» — и понижение интонации в ответе, необходимом для кодирования, определяются правилами вежливости. Поскольку робот сменил регистр вопроса и уже не уточняет необходимый вариант ответа, респондент отклоняется от первоначального задания.
Коммуникативная ситуация, представленная во втором фрагменте, сложнее. Респондент изначально использует разговорную форму отказа, которую весьма сложно запрограммировать: «Да нет», усиливая неопределенность прямым отрицанием проживания в сельской местности и указанием на родной город (фрагмент 2, строка 2).
Фрагмент 2
1. И: Вы проживаете в сельской местности? Скажите да или нет.
2. Р: Да нет, конечно, не сельская местность. В городе Тулуне...
3. И: Я не поняла. Проживаете в сельской местности?
4. Пауза 5 секунд.
5. И: Я не слышу. Проживаете в сельской местности?
6. Р: Почему в сельской? Тулун — город такой. Небольшое поселение, город такой.
7. И: Спасибо за вашу готовность принять участие в опросе. До свидания.
Робот задает дополнительный вопрос (фрагмент 2, строка 3). Не дождавшись ответа, он задает вопрос повторно, начиная с приведения причины третьей итерации: «Я не слышу» (фрагмент 2, строка 5). Речевое поведение робота полностью соответствует правилам вежливости. Однако, как и в первом фрагменте, именно эти правила подталкивают респондента отклоняться от необходимого ответа. Респондент вступает в коммуникацию с роботом по поводу своего ответа, а не повторяет его (фрагмент 2, строка 6). Только последний вариант приемлем для аналоговой системы распознавания. Поэтому робот вновь
не может идентифицировать ответ и прощается с респондентом (фрагмент 2, строка 7).
Рассмотрим следующий фрагмент. Пожилой мужчина без какого-либо раздражения повторяет «непонятливому» роботу, где именно он проживает (фрагмент 3; строки 9, 11, 13), а в конце делится обстоятельствами своей жизни. Судя по всему, ему никто еще не звонил по этому номеру, и он рад неожиданному звонку. Это довольно эмоциональный момент разговора, невообразимый и непрогнозируемый. Респондент полагает, что говорит с живым человеком, поэтому не переходит на короткие ответы. Более того, он вполне ожидает продолжения разговора, поскольку для него он чрезвычайно значим (строка 15, фрагмент 3).
Фрагмент 3
1. Р: Да...
2. И: Алло, алло...
3. Р: Да. Слушаю.
4. И: Здравствуйте! Некоммерческая организация «Социальная валидация» изучает сельскую Россию. Могли бы вы ответить на несколько вопросов? Это займет не более минуты. Вам больше 16 лет? Скажите да или нет.
5. Р: Мне 70 лет.
6. И: Я не поняла. Вам больше.
7. Р: Мне. Мне 70 лет. 70 лет.
8. И: Вы проживаете в сельской местности?
9. Р: В сельской местности.
10. И: Скажите да или нет.
11. Р: В сельской местности. Абсолютно.
12. И: Я не поняла. Проживаете в сельской местности?
13. Р: Да. Ефремовский район, село Шилово.
14. И: Спасибо за ваши ответы. Они помогут нам понять, сколько людей живет в сельской местности. Ваш телефон выбран случайным образом. Мы благодарны за вашу помощь. До свидания.
15. Р: Это. Я рад, шо вы позвонили. Я рад, шо вы позвонили. Я вообще. вот купили мне телефон, подарок. И вот вы позвонили. Большое вам спасибо.
С точки зрения человека, проводящего опрос, содержательный ответ «в сельской местности» (строка 9) наиболее релевантный. Во-первых, в нем содержится полная информация, его можно рассматривать вне вопроса. Во-вторых, больше вероятности его воспринять даже при плохой связи или проблемах со слухом, нежели короткое «да». В-третьих, он соответствует правилам вежливости, предоставлять полную информацию собеседнику. Не случайно, когда респондент все же переходит на требуемый краткий ответ, он поясняет его развернутым упоминанием деревни и района (строка 13). Однако для робота все
подобные расширения ответа представляют собой шум и помехи. Для точной идентификации ответа от них следует избавиться.
Рекомендация 1. Повторные, дополнительные вопросы, нацеленные на идентификацию ответа, должны содержать первоначальную инструкцию по опросному заданию: «скажите да или нет» (фрагмент 1, 2; строка 1). Иначе в большинстве случаев респондент будет воспринимать дополнительные реплики как повод пояснить, уточнить свой вопрос.
Повторение несколько раз одной и той же инструкции «скажите да или нет» несет риск иного сбоя в коммуникации, связанного с восприятием такого поведения как невежливого. Респондент может посчитать, что его не слушают, не реагируют адекватно на ответ. Поэтому возможны промежуточные, буферные вопросы, которые нацелены не на идентификацию ответа, а на поддержание диалога. Например, после неудачной попытки уточнить ответ (фрагмент 2, строка 3), в ответ на реплику респондента, которую система не может распознать (фрагмент 2, строка 4), может быть представлен следующий вариант реплики робота: «Для регистрации мне нужно услышать от вас ответ да или нет. Скажите да, если вы проживаете в сельской местности, или нет, если не проживаете в сельской местности».
Для получения адекватного ответа чрезвычайно важно напоминать, инструктировать респондента о допустимом речевом поведении. Даже в ущерб коммуникативным нормам, требующим избегать речевой избыточности, сокращать фразы, необходимо точно определять ожидаемый ответ. Только таким образом можно повысить долю распознаваемых ответов в ситуациях неопределенных, расширенных реплик респондента.
Прерывание вопроса
Не меньшим затруднением для автоматической идентификации ответа выступает прерывание вопроса, или ответ, высказанный с нарушением очередности диалога. Прерывание, перебивание собеседника — один из типичных сбоев в коммуникации [2, с. 525], требующих дополнительного ремонта, возвращения к непроговоренному.
Робот не успевает задать вопрос (фрагмент 4, строка 1), как респондент дает вполне релевантный, кодируемый ответ, входящий в закрытия (фрагмент 4, строка 2). Согласно максиме экономии речевых средств и минимизации времени разговора респондент поступает абсолютно корректно. Услышав подходящий для себя вариант ответа, он тут же подтверждает его состоятельность.
Фрагмент 4
1. И: Вы проживаете в сельской местности? Скажите да.
2. Р: Да, скажу.
3. И: .или нет.
4. Р: Да, в сельской местности.
5. И: Я не поняла. Проживаете в сельской местности?
6. Пауза 5 секунд
7. Р: Проживаю в сельской местности.
8. И: Я не слышу.
9. Р: В сельской местности.
10. И: Спасибо за вашу готовность принять участие в опросе. До свидания.
Однако с точки зрения стандартизированной процедуры налицо
нарушение вопрос-ответной последовательности. Робот не воспринимает реплику респондента как ответ и продолжает задавать вопрос (строка 3). Респондент вновь дает ответ, повторяя слова робота: «да, в сельской местности» (строка 4). Однако система распознавания речи не идентифицирует его как кодируемый. Робот еще дважды обращается к респонденту: один раз переспрашивает (строка 5), второй — указывает на непонимание ответа (строка 8). Оба раза респондент дает релевантный ответ. Вместе с тем он полностью отказывается от кодируемых вариантов «да или нет», представленных в закрытии, заменяя их речевым ответом: «в сельской местности» (строки 7, 9). Нарастающее непонимание в коммуникации машины и человека заканчивается идентификацией машиной ответа как нераспознанного.
Ситуация с прерыванием типичная. В разговорной речи вопрос «Вы проживаете в сельской местности?» представляет собой законченное, самодостаточное высказывание. Дальнейшее его продолжение представляется избыточным и неочевидным. Если человек эмоционален, настроен на скорейший ответ, он не будет дожидаться окончания фразы. В пятом фрагменте прерывание вопроса проходит с эмоциональной акцентуацией. «Нет, нет», — респондент буквально кричит в трубку (фрагмент 5, строка 2). Робот вновь продолжает задавать вопрос, поскольку согласно программному описанию его реплика не закончена.
Фрагмент 5
1. И: Вы проживаете в сельской местности? Скажите да.
2. Р: Нет, нет!
3. И: .или нет.
4. Р: Мы здесь, в городе Махачкале.
5. И: Я не поняла. Проживаете в сельской местности?
6. Р: Какой сельской?!
7. И: Спасибо за вашу готовность принять участие в опросе.
До свидания.
Респондент не ограничивается коротким ответом. Он уточняет, что живет в городе, называя сам город — Махачкалу (фрагмент 5, строка 4). С точки зрения разговорной коммуникации дан исчерпывающий ответ. И когда робот повторяет вопрос (строка 5), это воспринимается как неадекватное, некорректное поведение. На что указывает эмоциональный встречный вопрос респондента, с ударением на первое слово: «Какой сельской?!» (строка 6).
Наконец, в шестом фрагменте респондент прерывает робота развернутым ответом, что сразу кодируется как нерелевантный поток речи.
Фрагмент 6
1. И: Я не поняла. Проживаете в сельской местности.
2. Р: Ну в сельской, конечно! Село Кочубеевское.
3. И: Спасибо за вашу готовность принять участие в опросе. До свидания.
Не дослушав робота, респондент отвечает на первую часть вопроса. Кодируемые варианты «да или нет» не включены в его ответ (фрагмент 6, строка 2). В результате респондент, попадающий в целевую группу, не идентифицируется роботом.
Рекомендация 2. Обыденный разговор строится на максиме экономии речевых средств. Нет ничего удивительного, что респонденты прерывают робота, когда получают необходимую и достаточную информацию для ответа. Вторая часть вопроса фактически содержит инструкцию по ответу. Для того чтобы избежать прерывания, необходимо перенести ее в начало вопроса, точно сформулировав правила дальнейшего разговора: «Я сейчас задам вам вопрос, а вы ответьте на него: да или нет. Вы проживаете в сельской местности? Скажите да или нет». Такая формулировка удлиняет коммуникацию, дублирует одну и ту же реплику и может приводить к иным сбоям в общении. Но только таким образом можно акцентировать внимание на правилах стандартизированного общения в коротком диалоге.
При наступлении сбоев робот несколько раз повторяет первую часть формулировки вопроса (фрагменты 1—4), хотя сбой вызван не тем, что человек не понимает смысл вопроса, а исключительно тем, что он не следует правилам стандартизированного ответа, не произносит кодируемый ответ. Поэтому особое внимание следует уделить уведомлению об этих правилах, мягкому принуждению респондента следовать стандартизированной вопрос-ответной коммуникации. Любое повторение вопроса вне контекста первоначальных правил лишь увеличивает количество сбоев. Роботизированный опрос строится на априорном моделировании коммуникации, качество которой напрямую зависит от следования алгоритмам как интервьюера, так и респондента.
Встречный вопрос
Встречные вопросы, уточнения или просьбы естественны для коммуникации, отражают запрос на информированное согласие: «Вы откуда звоните?», «Вам кого надо?», «А вы кто вообще?», «А это для чего надо? <...> Девушка, ответьте мне на вопрос, для чего это вам надо?!», «Вы в курсе, куда вы позвонили? <...> У вас этот номер телефона откуда?», «Чо это вообще за система?». Представленный алгоритм работы с ответами полностью игнорировал подобные запросы. Неудивительно, что получая неадекватные ответы на свой запрос, респонденты вешали трубку, прекращали разговор. Речь идет не
только о поддержании разговора, но и о выполнении этической нормы общения с незнакомым человеком в рамках опросной технологии — конструировании информированного согласия.
В седьмом фрагменте представлен разговор с женщиной среднего возраста из сельской местности:
Фрагмент 7
1. И: Вы проживаете в сельской местности? Скажите да или нет.
2. Р: А кто вы такие, кто такая? Вы кто? Представились, кто вы?
3. И: Спасибо за вашу готовность принять участие в опросе. До свидания.
4. Р: А чо таким тоном-то? Тоже мне! Представители!
Фраза «.кто вы такие, кто такая?» свидетельствует о том, что респондент не расслышала представление робота, и неясность ситуации вызвала ее недовольство. Она невежливо (возможно, вполне привычно для себя) попросила представиться и, по всей видимости, ожидала каких-то объяснений звонка на личный телефон. В ответ робот нейтральным тоном произнес фразу, полностью игнорирующую как содержательную, так и эмоциональную части вопроса (фрагмент 7, строка 3). Женщина восприняла подобное поведение как оскорбительную форму коммуникации, резко повысила тон вопроса, который стал уже риторическим: «А чо таким тоном-то?», перешла в конце фразы на крик (фрагмент 7, строка 4). Не сложно предположить, что после обрыва связи она еще долго могла ругаться и переживать «хамское» поведение позвонившего.
Развернутый диалог робота с мужчиной, состоящий из обмена вопросами, на которые никто из участников диалога не отвечает, ярко иллюстрирует проблему информированного согласия (фрагмент 8).
Фрагмент 8
1. Р: Алло.
2. И: Алло.
3. Р: Да, слушаю.
4. И: Здравствуйте! Некоммерческая организация «Социальная валидация» изучает сельскую Россию. Могли бы вы ответить на несколько вопросов? Это займет не более минуты.
5. Р: А вы в курсе, куда вы позвонили?
6. И: Вам больше 16 лет? Скажите да или нет.
7. Р: Вы в курсе, куда вы позвонили?
8. И: Я не поняла. Вам больше 16 лет?
9. Р: У вас этот номер телефона откуда?
10. И: Вы проживаете в сельской местности? Скажите да или нет.
11. Р: Пожалуйста, назовите организацию вашу. Откуда.
12. И: Я не поняла.
13. Р: Наш разговор фиксируется.
14. И: Спасибо за вашу готовность принять участие в опросе. До свидания.
15. Р: Я не окончил с вами разговор, подождите. Какую организацию вы представляете?
Респондент пытается занять доминирующую позицию. Командная интонация, направленная на выяснение ситуации, резкий тон, нежелание менять разговор до получения ответа на первоначальный вопрос указывают на статусную позицию, которую занимает респондент. Робот следует написанному транскрипту, никак не реагирует на реплики респондента, провоцирует и усиливает раздражение собеседника.
Рекомендация 3. Поскольку в текущую программу распознавания ответов не заложены диалоговые сценарии работы со встречными вопросами, поддерживающими разговор с респондентом (это сложная задача), необходимо вернуть разговор к правилам коммуникации. Игнорирование вопроса невежливо, приводит к недопониманию и сбоям. Последние можно разрешить лишь объяснением нечувствительности робота к возникающим запросам, выходящим за рамки анкетных вопросов.
«Извините, я не могу отвечать на ваши вопросы. По правилам разговора я должна точно задать вопрос и записать ваш ответ», — после этой фразы становится возможным повторить первоначальный вопрос. Если же вопрос повторяется вне объяснения ситуации, риск конфликта резко возрастает. Поскольку весьма сложно запрограммировать робота на распознавание эмоционального контекста разговора, улавливание усмешки, раздражения, недопонимания и непонимания, следует воспроизводить нейтральный контекст, возвращать к правилам и процедурам, информировать о происходящем. В любом случае на заданный вопрос должен быть дан ответ. И наиболее универсальным, программируемым ответом является реплика о невозможности поддерживать диалог вне опросного задания.
По нашей гипотезе, сбоев, вызванных двумя вышеназванными причинами — прерывание вопроса робота и встречные вопросы респондентов — можно избежать, если робот с самого начала представится («Я — робот»), тем самым задав темп и формат разговора («да/ нет»). Однако подтверждение или опровержение этой гипотезы требует проведения дополнительных методических исследований.
Альтернативная повестка
Наибольший уровень сложности для автоматизированной системы представляют коммуникативные ситуации, в которых ответы респондентов практически непредсказуемы, задают альтернативную речевую повестку. Если вариации с ключевыми словами, например «Тулун — город такой» или «село Кочубеевское», можно запрограммировать, а типичные встречные вопросы спрогнозировать («А вы кто вообще?» — «Я робот, представляю организацию.» и т. д.), то реакцию «Нет, ничего не надо мне» трудно предположить, не имея больших массивов предварительных разговоров.
Кроме того, после идентификации нетривиальных ответов должны следовать адекватные реплики автоматизированной системы, поддерживающие коммуникацию и отвечающие запросу собеседника. В рамках аналогового, программируемого на уровне «если, то» механизма взаимодействия здесь нет решения. Вместе с тем возможны два варианта развития технологии. В первом — информировать респондента о том, что разговор ведется роботом и следует сделать скидку на несовершенство любого программного обеспечения. Во втором — внедрить в систему распознавания речи и построения ответных реплик элементы машинного обучения, стохастические модели обработки и генерирования коммуникации.
Сбои в коммуникации после получения некодируемого ответа (см. рис. 2) возникают из-за хорошего качества исполнения первого шага — задаваемого анкетного вопроса. Робот слишком хорошо имитирует голос человека. Неискушенный респондент не распознает, что разговаривает с машиной, как следствие — эмоционально реагирует на возникающие речевые недоразумения, начинает иронизировать, флиртовать, жаловаться и т. д. Многие респонденты называют робота «девушкой», поскольку слышат молодой женский голос и соответствующим образом формируют образ собеседника. Пожилая женщина в силу своего возраста обращается к роботу «дочечка» и «родная» (фрагмент 9, строка 3).
Фрагмент 9 #
1. Р: Да...
2. И: Здравствуйте! Некоммерческая организация «Социальная валида-ция» изучает сельскую Россию. Могли бы вы ответить на несколько вопросов? Это займет не более минуты. Вам больше 16 лет? Скажите да или нет.
3. Р: Оооой, да мне уже умирать на днях! Что я могу уже сказать, уже мозги не те, дочечка. Уже мозги не те, родная.
4. И: Вы проживаете в сельской местности? Скажите да или нет.
5. Р: Нормально! Нормально! На даче ковыряемся. Вот так и живем.
6. И: Спасибо за ваши ответы. Они помогут нам понять.
7. Р: Да, да.
8. И: .сколько людей живет в сельской местности.
9. Р: Да, да.
10. И: Ваш телефон выбран случайным образом. Мы благодарны за вашу помощь. До свидания.
11. Р: Спасибо, спасибо! Счастливо вам (кашляет).
Хотя робот не меняет текст и интонацию, каждый диалог не повторяется, а выстраивается уникальным образом. Разумеется, речь идет о тех ситуациях, когда респонденты заблуждаются относительно своего собеседника и не принимают правила игры, задуманные исследователем. В подавляющем большинстве случаев слом коммуникации через актуализацию респондентом альтернативной повестки определяется
пенсионным возрастом собеседника. С одной стороны, пенсионеры исключены из активной социальной деятельности, им вменена пассивная форма восприятия происходящего. С другой — они освобождены от принуждения вести беседу по навязанным правилам, сразу высказываются о важном для себя, уместном в разговоре с незнакомым человеком.
В некоторых диалогах респонденты слышат робота, но не понимают вопросов, считают их абсолютно нерелевантными для себя, переопределяют опросную ситуацию в иную форму взаимодействия. Например, мужчина сначала называет ситуацию «викториной» (фрагмент 10, строка 3), затем говорит, что его не интересует развитие страны, этим должен заниматься президент (строка 5). Он неоднократно подчеркивает свой возраст (строки 3, 5, 7, 9) как объяснение того, почему его уже ничего не интересует. Перед нами крайняя степень самостигматизации, исключения из социальной жизни.
Фрагмент 10
1. Р: Да...
2. И: Здравствуйте! Некоммерческая организация «Социальная валида-ция» изучает сельскую Россию. Могли бы вы ответить на несколько вопросов? Это займет не более минуты. Вам больше 16 лет? Скажите да или нет.
3. Р: Мне 65 лет, меня ничем не интересует ваша викторина.
4. И: Я не поняла. Вам больше 16 лет?
5. Р: Мне 65 лет, и не интересует развитие вашей России! Путин пусть этим занимается!
6. И: Вы проживаете в сельской местности? Скажите да или нет.
7. Р: Пусть Путин развивает, говорю. Мне 65 лет.
8. И: Я не поняла. Проживаете в сельской местности?
9. Р: Мне ниче не интересует, мне 65 лет, сказал.
10. И: Спасибо за вашу готовность принять участие в опросе. До свидания.
Другой мужчина старшего возраста также полагает, что ему уже поздно решать «все эти вопросы», поскольку «у меня уже под 70» (фрагмент 11, строка 3). Почему первый респондент заводит речь о развитии страны? Какие «все эти» вопросы поздно решать второму респонденту? Звонок робота вторгается в чужую жизнь, чью-то беседу, прерывает личные размышления.
Фрагмент 11
1. Р: Да, я слушаю.
2. И: Здравствуйте! Некоммерческая организация «Социальная валида-ция» изучает сельскую Россию. Могли бы вы ответить на несколько вопросов? Это займет не более минуты.
3. Р: Значит, давайте так, начнем с того, что у меня уже под 70. И все эти вопросы, наверное, уже поздно решать мне.
4. И: Вы проживаете в сельской местности? Скажите...
5. Р: Нет, не в сельской.
6. И: .да или нет.
7. Р: Мне уже под 70. Понимаете, да? И мне всякие эти. поэтому.
8. И: Спасибо за вашу готовность принять участие в опросе. До свидания.
9. Р: Да, да. Да. До свиданья.
Пожилая женщина тоже сначала ссылается на свой возраст — «я уже ничего не могу сказать» (фрагмент 12, строка 3), затем она предполагает, что ей звонят аферисты, желающие снять со счета деньги (строка 7). После вежливой фразы благодарности со стороны робота (строка 9) женщина смягчается, а после разъяснения «ваш телефон выбран случайным образом» и повторной благодарности (строка 12) даже делится своим негативным опытом телефонных обманщиков (строка 13).
Фрагмент 12
1. Р: Даа.
2. И: Некоммерческая организация «Социальная валидация» изучает сельскую Россию. Могли бы вы ответить на несколько вопросов? Это займет не более минуты.
3. Р: Мне уже 80. Так что я уже ничего не могу сказать.
4. И: Вы проживаете в сельской местности? Скажите.
5. Р: Я живу в городе.
6. И: .да или нет.
7. Р: До свиданья. Это вы, наверное, чтобы деньги содрать с меня, да? До свиданья.
8. И: Я не поняла. Проживаете в сельской местности?
9. Р: Ну чо, я в [неразборчиво] живу!
10. И: Спасибо за ваши ответы. Они помогут нам понять, сколько людей живет в сельской местности.
11. Р: А, ну.
12. И: Ваш телефон выбран случайным образом. Мы благодарны за вашу помощь. До свидания.
13. Р: Да ниче. Понимаете, некоторые все время звонят, звонят [неразборчиво], спрашивают. Потом раз — 29 рублей. Раз — 16 рублей.
Возможно, негативный личный опыт или рассказы близких людей определяют коммуникативную ситуацию как угрожающую и враждебную — робот не может адекватно отреагировать на слова респондента: «Это вы, наверное, чтобы деньги содрать с меня, да?» (фрагмент 12, строка 7). Женщина сначала сбивает коммуникацию некодируемыми ответами, а затем выравнивает, успокаивается. Робот не предпринимает в этом процессе никаких действий, вся коммуникация строится на представлениях человека о собеседнике. Неудивительно, что такие люди подвержены внешней манипуляции и легко могут стать жертвами злоумышленников.
Разговор с воображаемым сопереживающим, вдумчивым, сочувствующим человеком переопределяет коммуникацию, вносит в ответы различные отвлеченные с точки зрения опросного задания элементы, но столь необходимые для поддержания личной беседы.
Диалоги между роботом и человеком выглядят как обыденные, естественные разговоры. Не ожидая, не предполагая самой возможности встретиться с роботом, респонденты подстраиваются под ход беседы: задают встречные уточняющие вопросы, повторяют свои ответы, меняют интонацию, иногда перефразируя. Они стараются быть понятнее, убедительнее, человечнее. «Автоматизм» интервьюера респонденты могут объяснять особенностью его работы, личными качествами, невежливостью и т. д. Они также могут злиться, раздражаться, что их прерывают, не дослушивают до конца. Иными словами, полностью автоматизированный опрос приближается к естественной форме диалога.
Рекомендация 4. Сбои в стандартизованном интервью возникают независимо от того, кто его проводит — человек или робот, потому что основной источник этого сбоя кроется в самой природе обыденного общения — коммуникации через осмысление происходящего, интерактивной интерпретации. Именно к такой, естественной, коммуникации стремится респондент, объясняя для себя ситуацию и действуя, исходя из этого объяснения.
Задача роботизированной системы — объяснить и легитимировать неестественность коммуникации. Ремонт альтернативной повестки должен проводиться через возвращение к информированному согласию, представлению респонденту дополнительной информации, позволяющей ему понять и принять нормы стандартизированного интервью.
В текущей версии коммуникации робот не информирует респондента о том, что разговор ведется с роботом, что и создает дополнительные проблемы с восприятием вопросов и расширенными, нацеленными на человеческую коммуникацию ответами. Одно из решений ситуации — информировать респондента об общении с роботом, что может быть оправдано не только этическими нормами (информированное согласие), но и прагматикой разговора, поскольку респондент может переопределить свое речевое поведение и будет подстраиваться под робота [4, с. 66]. Вместе с тем такое решение не спасает от непонимания и коммуникативных сбоев, осмысление которых требует отдельного набора экспериментальных планов и методических исследований.
Пока не разработаны механизмы подобного речевого поведения робота, следует принять, что наибольший риск сбоя коммуникации наблюдается в старших возрастных группах, среди лиц, не имеющих высшего образования и проживающих в селе. Поэтому исследования, посвященные тематикам бедности, депривации, старения, сельской жизни не вполне годятся для роботизированных опросов в их текущем исполнении.
Служебный фрейм
Интерпретация опросной ситуации зависит от многих факторов, связанных с респондентом, начиная от его текущего настроения или местоположения, заканчивая социальным статусом и прошлым опытом. Звонок робота застает людей в самых разных местах и ситуациях, в том числе и на рабочем месте. Кроме того, поскольку номера телефонов ге-
нерируются случайным образом, весьма вероятно попадание в выборку служебных телефонов. По крайней мере три раза из 300 анализируемых интервью робот дозванивался до организации: пожарная станция (фрагмент 13), кабинет дерматолога (фрагмент 14) и еще одно учреждение, которое не называется респондентом (фрагмент 8), но номер принадлежит районной больнице (что мы выяснили в дальнейшем).
Во всех трех случаях респонденты задают вопрос: «Вы куда звоните?». Напротив, когда звонок приходится на личный телефон, спрашивают: «Вы откуда звоните?». Независимо от реплик звонившего, абонент сразу же заявляет свое непонимание ситуации и предлагает «нормальные» механизмы [4, с. 59] взаимодействия по ее ремонту, установлению естественного порядка служебного разговора.
Вопрос «Вы куда звоните?» (фрагмент 8, строка 5; фрагмент 13, строка 7; фрагмент 14, строка 3) ставит под сомнение, что место нахождения респондента соответствует цели звонящего, то есть указывает на значимость места, к которому респондент принадлежит в момент разговора. Вопрос «Вы откуда звоните?» аналогично вопросу «Кто вы?» проясняет, кто звонит респонденту, кем является звонящий, из какой он организации, то есть с кем говорит респондент.
Дежурный пожарной команды по фамилии Ахматов, как он сам представляется (фрагмент 13, строка 1), только лишь сняв трубку, воспринимает телефонный звонок как служебный. Когда он слышит название организации, не раздумывая и не задавая дополнительных вопросов, предлагает соединить с начальником (строка 5).
Фрагмент 13
1. Р: Пожарная команда. Ахматов слушает.
2. И: Здравствуйте!
3. Р: Здравствуйте!
4. И: .Некоммерческая организация «Социальная валидация» изучает сельскую Россию. Могли бы вы ответить на несколько вопросов? Это займет не более минуты. Вам больше 16 лет? Скажите да или нет.
5. Р: А, девушка. сейчас я вам начальника дам, вы ему задайте сколько хотите вопросов.
6. И: Вы проживаете в сельской местности? Скажите да или нет.
7. Р: Я в Махачкале живу, Махачкала. Вы куда звоните, девушка? Телефон нельзя занимать, это пожарный телефон.
8. И: Спасибо за вашу готовность принять участие в опросе.
9. Р: Давай, давай.
10. И: .До свидания!
Принять звонок; определить цель звонившего; если звонок не входит в круг служебных полномочий (для пожарной станции это сигнал о возможном возгорании), пригласить к телефону начальника. Таков служебный фрейм, «институциональные условия» [4, с. 65], по-своему не менее роботизированные, если сравнивать со скриптом стандартизированного
интервью. Иными словами, первоначально разговор реализуется между двумя программными скриптами. Однако на другой стороне трубки человек, поэтому он реагирует на следующий вопрос робота (фрагмент 13, строка 6) двойственным образом. Во-первых, дает ответ о месте проживания. И его ответ вполне адекватен с точки зрения общения людей, но является некодируемым для робота. Во-вторых, пытается отремонтировать коммуникативную ситуацию, указывая нелегитимность подобных звонков на пожарную станцию: «Телефон нельзя занимать, это пожарный телефон» (строка 7). Поскольку робот тут же заканчивает разговор, мужчина воспринимает это как ответ на свое предупреждение. Разговор для него завершается вполне естественным и понятным способом.
Разговор с кабинетом дерматологии вновь начинается с формального представления. Вместо неопределенного «да», «да, я слушаю» или «алло» (фрагменты 3, 8, 9, 10, 11, 12, строка 1) следует представление служебного места (фрагмент 14, строка 1). Этот маркер должен сразу отсечь случайные звонки и настроить на деловой лад.
Фрагмент 14
1. Р: Дерматологи.
2. И: Здравствуйте! Некоммерческая организация «Социальная валида-ция» изучает сельскую Россию. Могли бы вы ответить на несколько вопросов? Это займет не более минуты. Вам больше 16 лет? Скажите да или нет.
3. Р: Больше. Вы куда звоните? В кабинет дерматолога. Люди в 16 лет в этом кабинете не работают.
4. И: Вы проживаете в сельской местности? Скажите да или нет.
5. Р: Еще раз — что?
6. И: Я не поняла. Проживаете в сельской местности?
7. Р: Проживаю.
8. И: Спасибо за вашу готовность принять участие в опросе. До свидания!
Служебный фрейм определяется внешней, в определенном смысле
принудительной ролью респондента. Отсюда типичен более жесткий, деловой стиль общения, в котором доминируют встречные вопросы, проясняющие ситуацию, указывающие на регламентируемые формы разговора.
Рекомендация 5. Служебный фрейм поддерживается ограниченным набором речевых форм, которые вполне подлежат программированию с целью дальнейшего ремонта коммуникации, в большинстве опросов — это извинения и завершение разговора.
Следует расширить скрипт автоматизированной системы распознавания ответов. Во-первых, если телефонный разговор начинается не с коротких «алло», «да» или «я вас слушаю», следует задать встречный вопрос: «я попала в организацию, скажите да или нет?». Во-вторых, если в ходе первых реплик возникает вопрос «вы куда звоните?», следует повторить вопрос: «я попала в организацию?». Различение служебного и домашнего телефона весьма значимо для роботизированного опроса, поскольку коммуникация проходит в разных регистрах и требует разных скриптов.
Рогозин Д.М., Вырская М.С. Сбои в роботизированном телефонном опросе 55 Заключение
Анализ некодируемых ответов в коммуникации между роботом и человеком позволяет решать две исследовательские задачи. Во-первых, улучшать и развивать систему распознавания ответов, предлагать новые варианты опросного алгоритма. Во-вторых, расширять понимание особенностей стандартизированного интервью, природы стандартизации общения.
Для реализации опросного задания как роботу, так и человеку требуется услышать и воспринять кодируемые ответы, то есть высказывания, в точности соответствующие вопросам. В свою очередь респондент может не знать инструкций по стандартизации диалога, не придавать значения или вовсе не следовать им. В этой ситуации интервьюер может либо отказаться от опроса, поставив под удар требование репрезентативности, либо отремонтировать ответ, применяя специальные речевые техники. В отличие от коммуникации между людьми, поддерживаемой расширенным набором техник получения целевой информации и информированного согласия [5, с. 250, 332], робот обладает весьма ограниченным набором речевых практик.
Основной элемент ремонта ответа для коротких и лаконичных интервью связан не с четкостью произнесения вопроса, его интерпретацией или донесением смысла, а с определением и последующим напоминанием правил коммуникации, получением информированного согласия. От интервьюера (тем более от робота, выполняющего роль интервьюера) в стандартизированном интервью требуется намного больший, нежели в других видах интервью, акцент на правилах и процедурах коммуникации.
Благодарность
Мы выражаем глубокую признательность Светлане Полковниковой, директору компании Voice Communication, за предоставленную возможность протестировать новую роботизированную технологию на общероссийском опросе, и Надежде Галиевой, директору АНО «Социальная валидация», за организационную поддержку проекта. Очень ценно, что инициативы академических исследователей находят поддержку со стороны коммерческих и некоммерческих организаций. Мы благодарны команде технических специалистов Voice Communication, которые сопровождали наш проект, начиная от программирования инструмента и заканчивая предоставлением результатов.
ЛИТЕРАТУРА
1. Вырская М.С. Коммуникативные сбои // Особенности коммуникации в стандартизированном интервью / Под ред. А.А. Ипатовой, Д.М. Рогозина. М.: Издательский дом «Дело», 2019. С. 133-154.
2. Гофман И. Анализ фреймов: эссе об организации повседневного опыта / Пер. с англ. Р.Е. Бумагина, Ю.А. Данилова, А.Д. Ковалева, О.А. Оберемко; Под ред. Г.С. Батыгина, Л.А. Козловой. М.: Институт социологии РАН, 2003. — 752 с.
3. Зильберман Н.Н. Технологии виртуальных собеседников и формы речевого взаимодействия // Гуманитарная информатика. 2009. № 5. С. 80-85.
4. Корбут А.М. «Простите, я никак не могу понять»: способы реагирования на непонимание во взаимодействии человека и робота // Laboiatoiium: Журнал социальных исследований. 2018. Т. 10. № 3. С. 57-78. DOI: 10.25285/2078-1938-2018-10-3-57-78
5. Рогозин Д., Ипатова А., Галиева Н. Стандартизированное (телефонное) интервью. М.: Пункт, 2018. — 416 с.
6. Сапрыкина В.В. Жизнь в социальных сетях — Chatbots // Вестник современных исследований. 2018. № 12. С. 237-239.
7. Сергеев С.Ф., СергееваА.С. Проблема квазисоциального интерфейса в робототех-нических средах // Робототехника и техническая кибернетика. 2014. № 2. С. 23-28.
8. AAPOR. An Evaluation of the Methodology of the 2008 Pre-Election Primary Polls. Deerfield, IL: American Association for Public Opinion Research, 2009 [online]. Accessed 01.11.2018. URL: <https://www.aapor.org/Education-Resources/Reports/ Methodology-2008-Primary-Polls.aspx>.
9. Boren R.W., Moor W.C. Some appealing applications of interactive voice response // Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 2001. Vol. 45. No. 5. P. 557-561. DOI: 10.1177/154193120104500503
10. Couper M.P. New developments in survey data collection // Annual Review of Sociology. 2017. Vol. 43. P. 121-145. DOI: 10.1146/annurev-soc-060116-053613
11. Couper M.P. The future of modes of data collection // Public Opinion Quarterly. 2011. Vol. 75. No. 5. P. 889-908. DOI: 10.1093/poq/nfr046
12. Fomby P., Sastry N. Adolescents using interactive voice response technology // Methods, Data, Analyses. 2019. Vol. 13. No. 1. P. 91-110.
13. Gardner-Bonneau D., Delogu C., Green Ch., et al. Interactive voice response (IVR) systems as automatic speech recognition (ASR) comes of age // Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 1998. Vol. 42. No. 4. P. 444-447. DOI: 10.1177/154193129804200409
14. Kreuter F., Presser S., Tourangeau R. Social desirability bias in CATI, IVR, and Web surveys: The effects of mode and question sensitivity // Public Opinion Quarterly. 2008. Vol. 72. No. 5. P. 847-865. DOI: 10.1093/poq/nfn063
15. Lasswell H.D. The structure and function of communication in society // The communication of ideas / Ed. by L. Bryson. New York: Harper and Brothers, 1948. P. 37-51.
16. Peterson G.E. Automatic speech recognition procedures // Language and Speech. 1961. Vol. 4. No. 4. P. 200-219.
17. Schramm W How communication works // The process and effects ofmass communication / Ed. by W. Schramm. Urbana, Il: University of Illinois Press, 1954. P. 3-26.
18. Schramm W. The nature of communication between humans // The process and effects of mass communication / Ed. by W. Schramm, D.F. Roberts. 4th ed. Urbana, Il: University of Illinois Press, 1977. P. 3-54.
19. Shannon C., Weaver W. The mathematical theory of communication. Urbana, IL: University of Illinois Press, 1949.
20. Silver N. Which polls fared best (and worst) in the 2012 presidential race // New York Times. 2012. 10 November [online]. Accessed 26.03.2019. URL: <https://fivethirtyeight.blogs. nytimes.com/2012/11/10/which-polls-fared-best-and-worst-in-the-2012-presidential-race>.
21. Tourangeau R., Steiger D.M., Wilson D. Self-administered questions by telephone: Evaluating interactive voice response // Public Opinion Quarterly. 2002. Vol. 66. No. 2. P. 65-278. DOI: 10.1086/340029
22. VoskuhlA. Humans, machines, and conversations: An ethnographic study of the making of automatic speech recognition technologies // Social Studies of Science. 2004. Vol. 34. No. 3. P. 393-421. DOI: 10.1177/0306312704043576
Приложение
£
Скрипт роботизированной анкеты
Название сообщения Текст сообщения Ответ «Да» Ответ «Нет» Ответ «Не знаю» Нет ответа (тишина) Не найдено совпадения
Приветствие Здравствуйте! Некоммерческая организация «Социальная валидация» изучает сельскую Россию. Могли бы вы ответить на несколько вопросов, это займет не более минуты. - - - - -
Вопрос 1 Вам больше шестнадцати лет? Скажите да или нет вопрос 2 финальная фраза 1 - фраза 1.1 фраза 1.2
Фраза 1.1 Я не слышу. Вам больше шестнадцати лет? вопрос 2 финальная фраза 1 - финальная фраза 3 вопрос 2
Фраза 1.2 Я не поняла. Вам больше шестнадцати лет? вопрос 2 финальная фраза 1 - финальная фраза 3 вопрос 2
Вопрос 2 Вы проживаете в сельской местности? Скажите да или нет финальная фраза 2 финальная фраза 2 вопрос 3 фраза 2.1 фраза 2.2
Фраза 2.1 Я не слышу, вы проживаете в сельской местности? финальная фраза 2 финальная фраза 2 вопрос 3 финальная фраза 3 финальная фраза 3
Фраза 2.2 Я не поняла, вы проживаете в сельской местности? финальная фраза 2 финальная фраза 2 вопрос 3 финальная фраза 3 финальная фраза 3
Вопрос 3 Скажите да, если вы живете в селе или деревне. финальная фраза 2 финальная фраза 2 - фраза 3.1 фраза 3.2
Фраза 3.1 Я не слышу. Скажите да, если вы живете в селе или деревне. финальная фраза 2 финальная фраза 2 - финальная фраза 3 финальная фраза 3
Фраза 3.2 Я не поняла. Скажите да, если вы живете в селе или деревне. финальная фраза 2 финальная фраза 2 - финальная фраза 3 финальная фраза 3
Финальная фраза 1 Извините, пожалуйста, но мы опрашиваем только совершеннолетних граждан. Спасибо за вашу готовность принять участие в опросе. До свидания! - - - - -
Финальная фраза 2 Спасибо за ваши ответы, они помогут нам понять, сколько людей живет в сельской местности. Ваш телефон выбран случайным образом. Мы благодарны за вашу помощь. До свидания! - - - - -
Финальная фраза 3 Спасибо за вашу готовность принять участие в опросе. До свидания! - - - - -
Дата поступления: 29.03.2019
#
Sotsiologicheskiy Zhurnal = Sociological Journal. 2019. Vol. 25. No. 2. P. 33-59. DOI: 10.19181/socjour.2019.25.2.6385
D.M. Rogozin, M.S. Vyrskaya
Russian Presidential Academy ofNational Economy and Public Administration (RANEPA), Moscow, Russian Federation.
Dmitry M. Rogozin — Candidate of Sociological Sciences, Head of Laboratory for Social Research Methodology, Russian Presidential Academy of National Economy and Public Administration; Senior Research Fellow, Institute of Sociology of FCTAS RAS. Address: 11, Prechistenskaya emb., 119034, Moscow, Russian Federation. Phone: +7 (495) 695-11-62. Email: [email protected]
Marina S. Vyrskaya — Candidate of Philosophy, Senior Researcher, Laboratory for Social Research Methodology, Russian Presidential Academy of National Economy and Public Administration. Address: 11, Prechistenskaya emb., 119034, Moscow, Russian Federation. Phone: +7 (495) 695-11-62. Email: [email protected]
Communitcation Errors and Repairs in Automated Telephone Interviews
Abstract. This article presents the results of a robotic survey conducted by the Laboratory for Social Research Methodology (Institute for Social Analysis and Forecasting, RANEPA) with support from Voice Communication and the Social Validation. The goal of the survey was to select rural residents from an all-Russian sample. The 599 collected phone numbers were identified by the robot as rural. In order to accomplish this task, 64623 numbers were dialed, in 7310 cases connection was made and in 2703 cases the subscribers were asked the first question. Afterwards out of all identified cases (rural/city residents or "status not determined"), 300 were selected in order to conduct further encoding and listen to audio recordings. All ofthe respondents' answers were divided into two groups: coded (or having single-valued correspondence with the proposed closures), and non-coded, which the robot was supposed to fix. Five types ofnon-coded answers were identified: extended answer, question interruption, counter-question, alternative notice and a service frame. For each type ofnon-coded answer options for fixing and improving the script of the robotic questionnaire were proposed.
Keywords: question-answer communication; communication error; non-coded response; answer repair; human-computer telephone interview; service frame; standardized telephone interview.
For citation: Rogozin D.M., Vyrskaya M.S. Communitcation Errors and Repairs in the Automated Telephone Interviews. Sotsiologicheskiy Zhurnal = Sociological Journal. 2019. Vol. 25. No. 2. P. 33-59. DOI: 10.19181/socjour.2019.25.2.6385
REFERENCES
1. Vyrskaja M.S. Communicative failures. Osobennosti kommunikacii v standartizirovannom interv'ju. [Features of communication in a standardized interview.] Ed. by A.A. Ipatova, D.M. Rogozin. Moscow: Izdatel'skij dom "Delo" publ., 2019. P. 133-154. (In Russ.)
2. Gofman I. Frame Analysis. An Essay on the Organization of Experience. [Russ. ed.: Analiz frejmov: jesse ob organizaciipovsednevnogo opyta. Transl. from Eng. by R.E. Bumagin, Ju.A. Danilov, A.D. Kovalev, O.A. Oberemko; Ed. by G.S. Batygin, L.A. Kozlova. Moscow: Institut sociologii RAN publ., 2003. 752 p.] (In Russ.)
3. Zil'berman N.N. Virtual interlocutors and forms of speech interaction. Gumanitarnaja informatika. 2009. No. 5. P. 80-85. (In Russ.)
4. Korbut A.M. "Sorry, I cannot Understand": Ways of Dealing with Non-Understanding in Human-Robot Interaction. Laboratorium: Zhurnalsocial'nyh issledovanij. 2018. Vol. 10. No. 3. P. 57-78. (In Russ.) DOI: 10.25285/2078-1938-2018-10-3-57-78
5. Rogozin D., Ipatova A., Galieva N. Standartizirovannoe (telefonnoe) interv'ju. [Standardized (telephone) interview.] Moscow: Punkt publ., 2018. 416 p. (In Russ.)
6. Saprykina V.V. Life in social networks — Chatbots. Vestnik sovremennyh issledovanij. 2018. No. 12. P. 237-239. (In Russ.)
7. Sergeev S.F., Sergeeva A.S. The Quasi-Interface Problem in Robotechnic Environments. Robototehnika i tehnicheskaja kibernetika. 2014. No. 2. P. 23-28. (In Russ.)
8. AAPOR. An Evaluation of the Methodology of the 2008 Pre-Election Primary Polls. Deerfield, IL: American Association for Public Opinion Research, 2009 [online]. Accessed 01.11.2018. URL: <https://www.aapor.org/Education-Resources/Reports/ Methodology-2008-Primary-Polls.aspx>.
9. Boren R.W., Moor W.C. Some appealing applications of interactive voice response. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 2001. Vol. 45. No. 5. P. 557-561. DOI: 10.1177/154193120104500503
10. Couper M.P. New developments in survey data collection. Annual Review of Sociology. 2017. Vol. 43. P. 121-145. DOI: 10.1146/annurev-soc-060116-053613
11. Couper M.P. The future of modes of data collection. Public Opinion Quarterly. 2011. Vol. 75. No. 5. P. 889-908. DOI: 10.1093/poq/nfr046
12. Fomby P., Sastry N. Adolescents using interactive voice response technology. Methods, Data, Analyses. 2019. Vol. 13. No. 1. P. 91-110.
13. Gardner-Bonneau D., Delogu C., Green Ch., et al. Interactive voice response (IVR) systems as automatic speech recognition (ASR) comes of age. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 1998. Vol. 42. No. 4. P. 444-447. DOI: 10.1177/154193129804200409
14. Kreuter F., Presser S., Tourangeau R. Social desirability bias in CATI, IVR, and Web surveys: The effects of mode and question sensitivity. Public Opinion Quarterly. 2008. Vol. 72. No. 5. P. 847-865. DOI: 10.1093/poq/nfn063
15. Lasswell H.D. The structure and function of communication in society. The communication of ideas. Ed. by L. Bryson. New York: Harper and Brothers, 1948. P. 37-51.
16. Peterson G.E. Automatic speech recognition procedures. Language and Speech. 1961. Vol. 4. No. 4. P. 200-219.
17. Schramm W. How communication works. The process and effects of mass communication. Ed. by W. Schramm. Urbana, Il: University of Illinois Press, 1954. P. 3-26.
18. Schramm W. The nature of communication between humans. The process and effects of mass communication. Ed. by W. Schramm, D.F. Roberts. 4th ed. Urbana, Il: University of Illinois Press, 1977. P. 3-54.
19. Shannon C., Weaver W. The mathematical theory of communication. Urbana, IL: University of Illinois Press, 1949.
20. Silver N. Which polls fared best (and worst) in the 2012 presidential race. New York Times. 2012. 10 November. Accessed 26.03.2019. URL: <https://fivethirtyeight.blogs.nytimes. com/2012/11/10/which-polls-fared-best-and-worst-in-the-2012-presidential-race>
21. Tourangeau R., Steiger D.M., Wilson D. Self-administered questions by telephone: Evaluating interactive voice response. Public Opinion Quarterly. 2002. Vol. 66. No. 2. P. 65-278. DOI: 10.1086/340029
22. Voskuhl A. Humans, machines, and conversations: An ethnographic study of the making of automatic speech recognition technologies. Social Studies of Science. 2004. Vol. 34. No. 3. P. 393-421. DOI: 10.1177/0306312704043576
Received: 29.03.2019.
