CC BY
72
ОВЧИННИКОВА М.В.
ПРАКТИКИ ГОВОРЯТ
ПРАКТИКИ ГОВОРЯТ
DOI: 10.14515/monitoring.2015.5.11 УДК 303.447.352.4
Правильные ссылки на статью:
Овчинникова М.В. Алгоритм оценки качества данных экспертного опроса // Мониторинг общественного мнения: экономические и социальные перемены. 2015. № 5. С. 17 2-176 For citation:
Ovchinnikova M. V. Algorithm for Assessment of the Qualitative Research (case study: jewelry market participants' non-formal communication) // Monitoring of Public Opinion: Economic and Social Changes. 2015. № 5. P.172-176
М.В. ОВЧИННИКОВА
АЛГОРИТМ ОЦЕНКИ КАЧЕСТВА ДАННЫХ ЭКСПЕРТНОГО ОПРОСА
АЛГОРИТМ ОЦЕНКИ КАЧЕСТВА ДАННЫХ ЭКСПЕРТНОГО ОПРОСА
ОВЧИННИКОВА Марина Владимировна -директор по развитию исследовательской компании SALT, Вице-Президент Европейской Инвестиционно-Финансовой
Группы (ЕИФГ), Россия.
E-mail.: mo@salt-research.com
Аннотация. В статье приводится описание разработанного автором и апробированного на практике алгоритма оценки качества данных экспертного опроса. Раскрыта специфика применения этого метода в маркетинге. Приводится пример изучения неформальных практик участников.
Ключевые слова: качественные
исследования, оценка качества, алгоритм, экспертный опрос, неформальные практики, рынок ювелирных изделий
ALGORITHM FOR ASSESSMENT OF THE QUALITATIVE RESEARCH (case study: jewelry market participants' non-formal communication)
OVCHINNIKOVA Marina Vladimirovna -Development Director, SALT Market Research Company, Euro Invest Finance Group Vice President (EIFG), Russia.
E-mail.: mo@salt-research.com
Abstract. The article provides a description of the evaluation criteria of the qualitative research designed and tested by the author. The specifics of the qualitative research use for the marketing purposes is also studied. The article is based on the case study of the non-formal communications of the jewelry market participants.
Keywords: qualitative research, quality
assessment, algorithm, expert poll, non-formal communication, jewelry market
Качественные методы прочно вошли в арсенал маркетинговых исследований: это один из самых быстрых способов получения информации объяснительного толка, на основании которой можно принимать стратегические управленческие решения, кроме того они позволяют глубже проработать природу объекта, анализировать смыслы, искать причины.
Принципиальная разница пролегает между проведением эксплоративных (поисковых) и каузальных (причинно-следственных) исследований. Эту разницу зачастую
172 ______________________________________________^____________________________ ■
мониторинг общественного мнения №5 Mss) сентябрь-октябрь
SOTS
ОВЧИННИКОВА М.В.
ПРАКТИКИ ГОВОРЯТ
недооценивают, принимая базовый навык «качественника» за «универсального солдата». Однако, именно разница между эксплоративными и каузальными подходами требует разных подходов к проведению исследований и предполагает получение принципиально неодинаковых результатов.
Эксплоративные подходы в своих результатах схожи с описательными количественными исследованиями. Каузальные слабо подвергаются сравнениям и являются стратегически важными для Заказчика. В качестве результатов каузальных исследований формируются принципиально новые аналитические материи, на основании которых компания Заказчика получает возможность действовать точечно, а не «наугад», возникает новое понимание реалий функционирования бизнеса, позволяя компаниям быть подготовленным к потенциальным негативным сюжетам и эффективно использовать открывающиеся возможности поля. Возникает именно новое понимание реалий, появляются гипотезы, не существовавшие до момента проведения исследования, которые не всегда приходят в голову участникам, находящимся «в теме».
Однако, эргономичность встраивания методов в практику не определяет качество результатов, они напрямую зависят от профессионализма исследователя и процедуры применения метода для решения поставленных задач. В ситуации, когда роль эксплоративного исследования столь высока, и цена ошибки или недостаточной проработки предмета может обернуться ценой упущенных возможностей бизнеса, формальные критерии оценки качества стремятся к нулю и практически отсутствуют, главным инструментом становится субъективное восприятие результатов принимающей стороной, основанное на предыдущем опыте.
Среди авторов, напрямую занимающихся темой оценки качества данных качественных исследований, можно выделить В. Кларк и В. Браун [Braun, Clarke, 2013]. В большинстве же случаев оценка здесь сводится к оценке эффективности внедрения полученных результатов: оценивается коммуникативная и финансовая эффективность рекламной кампании. В этом поле работают многие западные и отечественные теоретики и практики [Hopkins, 1966; Аренс, Вейнголд, Аренс, 2011; Джефкинс, 2002; Сэндидж и др., 1989; Кромптон, 1998; Огилви, 2007; Феофанов, 1974; Крылов, 1997; Рожков, 1997; Коломиец, 2010; Кутлалиева, Попов, 2006 и др.]. Оценка качества данных и результатов разведывательных маркетинговых исследований проводится косвенно и в отложенный момент времени (оценивается эффективность рекламы, разработанной на основании информации исследования). Если выявляются низкие показатели эффективности рекламы, понимание причинно-следственных оснований такого результата не всегда возможно: была нарушена методология исследования или отрицательные показатели связаны с неточностью использования результатов для написания рекламных концепций?
Цена ошибки на этапе исследования повышается в разы и сводится не только к бюджету, выделенному на исследование, но и на рекламу и пр. Для того, чтобы не допустить такой ошибки, требуется четкий и простой алгоритм оценки. Нами предпринята попытка его создания. Он эффективен в случае, когда в качестве метода выбран экспертный опрос.
Подчеркнём, что в результате «универсализации» экспертного интервью как метода, сформирован пул «универсальных солдатов» - экспертов, системно дающих интервью на темы, не всегда основанные на предыдущем опыте (складывается ситуация, аналогичная пулу профессиональных респондентов). Сформировались базы данных «экспертов-
173
мониторинг общественного мнения №5 Mss) сентябрь-октябрь
Sols
ОВЧИННИКОВА М.В.
ПРАКТИКИ ГОВОРЯТ
универсалов», которые участвуют в обсуждениях полярных тем в рамках функционирования Советов, Общественных палат и в процессе проведения исследований, и не во всех случаях их экспертиза является релевантной, в то время как интеллектуальный уровень позволяет высказываться.
Важно, что именно экспертный опрос применяется в случаях, когда необходимо выделить информационное поле и найти инсайты для разработки коммуникационных концепций; а индустриализация метода приводит к планомерному снижению качества получаемых результатов и снижению интереса потребителя к выводам, полученным в результате таких опросов.
Как оценить качество данных, полученных по итогам проведения экспертных опросов? Алгоритм, описание которого приводится далее, сформулирован в ходе реализации «Исследования неформальных практик участников рынка ювелирных изделий». В рамках этого исследования экспертный опрос был, фактически, единственным методом, применение которого стало возможным и реалистичным для решения поставленных задач. Простота метода на практике оказалась кажущейся, что послужило причиной уделить отдельное внимание выработке алгоритма. Полагаем, что данный алгоритм может стать инструментом оценки качества и в других исследованиях.
Алгоритм оценки качества данных экспертного опроса. Базовая логика алгоритма применима ко многим исследованиям. Точкой отсчета в нём становится установка на важность результата, а не метода, который применяется; концентрация на выстраивании методологии вторична относительно результатов, ожидаемых на выходе. Алгоритм включает в себя две ступени: стратегическую и тактическую.
Стратегически необходимо отследить, что каждый этап исследования отвечает на вопросы, поставленные на старте, и получаемые данные релевантны исследовательским задачам. Тактически, алгоритм диктует отказ от «Капитана Очевидность», а именно: достижение такого уровня информативности данных, получаемых от экспертов, который превышает информацию, существующую в открытом доступе; взвешивание получаемых данных в существующих теоретических парадигмах и высокий уровень рефлексии исследователя.
Для прохождения по ступеням алгоритма необходимы упорство и гибкость исследователя. Первое оценивается готовностью к изменению сроков реализации проекта и к увеличению прилагаемых усилий для достижения цели, второе - отражается в чувствительности к получаемым результатам в процессе сбора данных, а не на этапе отчета.
Как выбирали экспертов для проведения «Исследования неформальных практик участников рынка ювелирных изделий»? На старте была выдвинута гипотеза о том, что никто, кроме самих участников рынка ювелирных изделий не может обладать достаточным экспертным знанием о неформальных практиках, присутствующих на рынке. Первоначальная гипотеза: участники рынка, как никто другой, высоко осведомлены о проблемах в бизнесе, возникающих из-за несовершенства законов, и о том, какие неформальные практики возникают в ответ.
Фиаско, которое команда потерпела, как только были получены первые результаты интервью, свидетельствовало об обратном. Участники рынка опровергли нашу первоначальную гипотезу, эксперты рассказали о проблемах бизнеса, о некоторых нетривиальных кейсах из повседневных практик, о том, с чем они сталкиваются в бизнес-
174
мониторинг общественного мнения №5 Mss) сентябрь-октябрь
Sols
ОВЧИННИКОВА М.В.
ПРАКТИКИ ГОВОРЯТ
реалиях. Связи между проблемами бизнеса и законодательными нормами рынка в первых интервью обнаружено не было, а именно такая задача ставилась, когда исследование было задумано.
Было принято решение повторно обратиться к поставленной проблематике, еще раз соотнести задачи исследования и критерии отбора экспертов. После повторного соотнесения задач исследования и выдвинутых критериев отбора экспертов, мы обратились к представителям закона и ассоциаций, включенных в процесс законотворчества в отрасли, хотя, казалось бы, что они могут рассказать о неформальной составляющей?
Изменили и вопросы гайда для проведения экспертного интервью: вместо обсуждения законодательных сложностей и неформальных практик как таковых, включили вопросы о том, какие законодательные изменения и инициативы они считают самыми важными из тех, которые принимались/ обсуждаются в течении последних трех лет?
Эксперты, занимающиеся законотворчеством, позволили сформулировать хронологию изменений в законодательстве, регулирующем рынок производства ювелирных изделий в России, а уже на основании хронологии, совместно с новыми экспертами, удалось вычленить три ключевых направления законотворчества:
- Регулирование процедуры проведения аффинажа (Отсутствие четкого запрета на использование «давальческих схем» в процессе реализации аффинажа в законодательстве - прямое сообщение участникам рынка о возможностях действовать «в рамках закона» и «вне закона» одновременно);
- Таможенно-налоговые нормы импорта ювелирных изделий и сырья в отрасли (налоги, устанавливаемые государством на ввоз сырья и производственного оборудования, в разы превышают тарифы, устанавливаемые в ряде других стран (Индия, Турция, Китай). Государство таким образом выдаёт участникам рынка непрямую директиву использовать исключительно локальное сырье, что, в свою очередь, обеспечивает спрос на продукцию добывающих предприятий (речь идет о предприятиях с государственной формой собственности);
- Требования, устанавливаемые в отношении порядка транспортировки ювелирных изделий (в данном случае, речь идет о закреплении обязательного сопровождения вооруженной охраной транспортируемых по территории РФ ювелирных изделий. Обязательные требования устанавливаются и в отношении транспорта (специально оборудованный).
Выделение ключевых направлений законотворчества стало переломным этапом исследования. В дальнейшем, они позволили сформировать точную выборку экспертов-практиков, сформулировать узконаправленные вопросы, посвященные деятельности компаний по конкретным направлениям (выбор сырья, импорт оборудования и ювелирных изделий, транспортировка ювелирных изделий).
В выделенных направлениях законотворчества были найдены нетривиальные модели поведения участников, на основании которых составлена карта неформальных практик и выявлены возможности снижения уровня воспроизводства этих практик в бизнесе, благодаря мерам, рекомендуемым для внедрения на законодательном уровне.
175 ____________________________________________^____________________________ ■
мониторинг общественного мнения №5 Mss) сентябрь-октябрь
Sols
ОВЧИННИКОВА М.В.
ПРАКТИКИ ГОВОРЯТ
На данном примере мы постарались раскрыть алгоритм процесса кросс-отбора и фильтрации приглашаемых экспертов.
Литература
Аренс У., Вейнголд М., Аренс К. Современная реклама. М.: Эксмо, 2011.
Джефкинс Ф. Реклама. М.: Юнити, 2002.
Коломиец В.П. Медиасреда и медиапотребление в современном российском обществе // Социологические исследования. 2010. № 1. С. 58-66.
Кромптон А. Мастерская рекламного текста. М.: Довгань, 1998.
Крылов И. Маркетинг. М.: Центр, 1997.
Кутлалиев А., Попов А. Эффективность рекламы DOC. М.: Изд-во Эксмо, 2006. Огилви Д. О рекламе. М.: Эксмо, 2007.
Рожков И.Я. Реклама: планка для «профи». М.: Юрайт, 1997.
Сэндидж Ч., Фрайбургер В., Ротцолл К. Реклама: теория и практика. М.: Прогресс, 1989.
Феофанов О.А. США: реклама и общество. М.: Мысль, 1974.
Braun V., Clarke V. Successful Qualitative Research: A Practical Guide for Beginners. London: SAGE, 2013.
Hopkins C. C. Scientific Advertising. New York: Crown Publishers, 1966.
176
мониторинг общественного мнения №5 (129) сентябрь-октябрь
Sols
