CC BY
61
УДК 316
ТЕХНОЛОГИЯ ОЦЕНКИ КАЧЕСТВА РАБОТЫ ИНТЕРВЬЮЕРОВ
О.Г. Берестнева, С.В. Романчуков, С. О. Шухарев
ФГАОУ ВО «Национальный исследовательский Томский политехнический университет Институт кибернетики г. Томск, Россия
Аннотация. Одним из методов проведения социологических исследований является интервьюирование. Данная работа посвящена алгоритмам обработки результатов интервью, позволяющим выявлять потенциальные случаи фальсификации предоставленных интервьюерами данных с минимальной нагрузкой на человека-эксперта. Предлагаемое решение позволяет повысить скорость и эффективность проверки результатов анкетирования по сравнению с традиционными методами.
Ключевые слова: анкетирование, интервью, экспертная система, контроль качества, верификация данных.
Проблема информационной поддержки социальных исследований актуальна не первый год, и по этой теме опубликовано большое количество материалов, однако их авторы зачастую отмечают, что существующие компьютерные приемы решения социологических задач остаются неизвестны большинству социологов и психологов [1], а потому зачастую не внедряются в реальную каждодневную практику исследовательских групп.
Проведение социологического исследования обычно осуществляется в четыре этапа [2].
1. Формирование программы исследования, включая цель, задачи, план, формулировку гипотезы, методы сбора информации, способы ее обработки и т. д.
2. Непосредственный сбор первичной информации. Наиболее распространенным, традиционным и надежным методом сбора информации выступает поквартирный опрос [3].
3. Электронная обработка полученной информации.
4. Анализ результатов предыдущих этапов, подготовка научного отчета.
При этом многие задачи до сих пор выполняются только вручную, в том числе и проверка материала предоставленного интервьюерами. Типичные инструкции предполагают проведение выборочной (до 10% собранных анкет) проверки, в ходе которой контролирующий персонал обязан установить факт и дату проведения интервью, соблюдение методики отбора респондента, пол и возраст респондента, содержание ответов на несколько ключевых вопросов анкеты и продолжительность интервью [4].
Очевидно, что переход от ручной проверки бланков анкет к программной проверке их электронных копий позволит избавиться от ключевых недостатков данного метода — больших временных и трудовых затрат, низкой эффективности, неполноты охвата собранного материала и воздействия человеческого фактора.
Отметим, что переход от бумажных анкет к заполнению онлайн-форм сам по себе позволяет избежать ввода некорректных данных, обусловленного непониманием текста задания, игнорированием интервьюером точек перехода в анкете или во-
—--—-
~ 123 ~
Журнал включен в Перечень рецензируемых научных изданий ВАК при Министерстве образования и науки Российской Федерации по отраслям «Медицинские науки» и «Социологические науки»
Since 1999 p-ISSN 2226-7425, e-ISSN 2412-9437
The Journal of scientific articles "Health and Education Millennium", 2016. Vol. 18. No 3
—--—
просов, пропускаемых при соблюдении того или иного условия (за счет маскированного ввода, программных ограничений на диапазон входных данных и программной же реализации переключения между вопросами), но вопросы качества интервью не сводятся лишь к избавлению от этих рутинных ошибок.
Немаловажна достоверная фиксация времени начала и завершения интервью, позволяющая определить его продолжительность. Неестественно короткое или чересчур долгое интервью может служить одним из признаков фальсификации или недобросовестного его проведения.
Другим косвенным признаком ненадлежащего выполнения интервьюером своих обязанностей может служить наличие в анкетах многократно повторяющихся ответов (особенно категории «не знаю», «отказ от ответа» и подобных), собранных в массивные блоки. Само по себе оно не говорит о нарушении со стороны интервьюера (респондент всегда может отказаться отвечать на любой из вопросов), однако большое количество подобных повторений в разных анкетах может указывать на неспособность корректно донести вопрос до респондента и добиться ответа или недобросовестность (в случае намеренного пропуска сложных и массивных вопросов) интервьюера.
Третьим фактором, позволяющим усомниться в качестве работы интервьюера, является срок выполнения полученного задания по сбору определенного количества анкет.
Разумеется, любой из указанных признаков сам по себе говорит о недобросовестности интервьюера лишь с некоторой вероятностью, но в случае их систематического повторения возможность негативной оценки действий интервьюера должна повышаться.
Кроме того использование возможностей сети интернет и мобильных устройств интервьюеров позволяет фиксировать положение интервьюера в пространстве, что также должно использоваться в алгоритмах оценки качества собранных анкет.
Во-первых, отклонение интервьюера от маршрутных точек не должно превышать погрешности фиксации его координат. Во-вторых, данные о положении интервьюера в начале и окончании интервьюирования не должны существенно различаться (очевидно, что в ходе проведения опроса
жителей одной квартиры интервьюер не может пересечь половину улицы). В третьих, количество анкет, собранных в одном здании не должно превышать предписанного методическими рекомендациями. Несоблюдение этих условий рассматривается как серьезное нарушение уже само по себе.
Алгоритмы проверки используют возможности языка R (в серверном варианте его реализации) для обнаружения в выборке фактов потенциальных нарушений, после чего предположение о недостоверности интервью и необходимости вынесения взыскания принимается согласно формулам Бай-еса [5] для определения апостериорной вероятности гипотез, аналогично распространенным байесовским ЭС. При этом в качестве гипотез были приняты положения Ш: интервью корректно, И2: интервью с нарушениями и И3: интервью сфальсифицировано с априорными вероятностями 0,6, 0,3 и 0,1 соответственно, а признаков-доказательств E1: ^щщ.Линг. > 2 и E2: ^щщ.Лит. > 4 (об отклонениях продолжительности интервью от заданной в рамках методики), E3: ^овт. > 20 (существование цепочек повторов), E4: PоГкaз > 60% (частота обнаружения несодержательных ответов) и E5: наличие повторных нарушений в других анкетах того же интервьюера.
В случае, если координатор признает полученный отчет о грубом нарушении, совершенном интервьюером, соответствующим действительности, анкеты, собранные в рамках того же задания данным интервьюером удаляются из базы данных, на интервьюера накладывается взыскание в форме выговора, его показатель репутации существенно снижается, что впоследствии сказывается на вероятности получения им новых заданий. Отчеты о менее тяжком нарушении оставляют за координатором право определять тяжесть наказания на свое усмотрение.
Все это позволяет, во-первых, удалить из системы анкеты, собранные с нарушениями, во-вторых, проранжировать исполнителей (интервьюеров) по показателям качества работы.
Система выбирает задания для интервьюеров, основываясь на трех факторах: месте проживания, репутации пользователя и количества уже выполненных заданий. Таким образом, система автоматизирует работу интервьюера и координатора, упрощая и стандартизируя их взаимодействие.
—--—-
~ 124 ~
Журнал включен в Перечень рецензируемых научных изданий ВАК при Министерстве образования и науки Российской Федерации по отраслям «Медицинские науки» и «Социологические науки»
Since 1999 p-ISSN 2226-7425, e-ISSN 2412-9437
Берестнева О.Г., Романчуков С.В., Шухарев С.О. Технология оценки качества работы интервьюеров
В настоящее время данная технология внедрена в опытную эксплуатацию на факультете психологии, связей с общественностью и рекламы Томского государственного педагогического университета.
Работа выполнена при финансовой поддержке РГНФ, проект № 15-03-00366 «Социокультурные факторы новой индустриальной модернизации в регионах (на материалах исследований в Томской области)».
ЛИТЕРАТУРА
1. Толстова Ю.Н. Социология и компьютерные технологии // Социологические исследования. 2015. № 8. С. 3—13.
2. Виртуальный учебно-методический комплекс «Политическая наука» [Электронный ресурс]. URL: http://read.virmk.ru/s/SANZ_SOC/g-014.htm (дата обращения 27.06.2016).
3. Исследовательский центр «Дискурс». Методы исследования: поквартирный опрос [Электронный ресурс] URL: http://c-discurs.ru/methods/opros/pokvartirnyiy-opros/ (дата обращения 27.06.2016).
4. Лапин Н.И., Беляева Л.А. Программа и типовой инструментарий «Социокультурный портрет региона России» (Модификация — 2010). М.: ИФРАН, 2010.
5. Логический вывод на основе субъективной вероятности [Электронный ресурс] URL: http://www.habarov.spb.ru/new_es/exp_sys/es05/es5.htm (дата обращения 27.06.2016).
INTERVIEW QUALITY ASSESSMENT TECHNOLOGY
O. G. Berestneva, S. V. Romanchukov, S. O. Shuharev
National Research Tomsk Polytechnic University Institute of Cybernetics Tomsk, Russia
Annotation. Interview is one of the most important methods in sociological research. However, the human factor plays an important role in this process. This work is devoted to processing algorithms, allowing to identify potential cases of data falsification in interview results provided by the interviewers and proceed it with minimal impact on the human experts. The proposed solution makes it possible to increase the speed and effectiveness of the survey results verification compared to traditional methods.
Key words: questionnaires, interviews, expert system, quality control, data verification.
REFERENCES
1. Tolstova Ju.N. Sociology and Computer Technology. Sociological studies, 2015, no. 8, pp. 3—13 (in Russian).
2. Virtual training complex "Political Science" URL: http://read.virmk.ru/s/SANZ_SOC/g-014.htm (Accessed 27th June 2016) (in Russian).
3. "Discourse" Research Center. Methods: door-poll interview URL: http://c-discurs.ru/methods/opros/ pokvartirnyiy-opros (Accessed 27th June 2016) (in Russian);
4. Lapin N.I., Beljaeva L.A. The "Socio-cultural Portrait of Russian region" program and the standard toolkit (Modification-2010). Moscow, Institute of Philosophy Russian Academy of Sciences, 2010 (in Russian).
5. Logical inference based on subjective probability URL: http ://www. habarov. spb.ru/new_es/exp_sys/es05/ es5.htm (Accessed 27th June 2016) (in Russian).
