CC BY
55В статье авторами рассматривается эффективность маркетинговых исследований в социальных сетях. Определяются основные критерии качественной и количественной оценки маркетинговой информации, получаемой в социальных сетях при проведении исследований, а также рассматривается практический пример маркетингового исследования в социальных сетях и оценка его эффективности.
Ключевые слова: маркетинговые исследования; социальные сети; оценка; эффективность.
ОЦЕНКА ЭФФЕКТИВНОСТИ ПРОВЕДЕНИЯ МАРКЕТИНГОВЫХ ИССЛЕДОВАНИЙ В СОЦИАЛЬНЫХ СЕТЯХ
Перцовский Наум Ильич,
к. э. н., профессор кафедры экономической теории, Московский государственный машиностроительный университет (МАМИ), 107023 г. Москва, ул. Большая Семеновская, д. 38 [email protected]
Галимов Руслан Ринатович,
аспирант, преподаватель кафедры экономической теории, Московский государственный машиностроительный университет (МАМИ), 107023 г. Москва, ул. Большая Семеновская, д. 38 [email protected]
Определение эффективности маркетинговых исследований всегда было трудноразрешимой задачей и предметом споров среди специалистов. В результате на практике руководители организаций и предприятий весьма неохотно выделяют средства на их проведение, потому что не уверены в целесообразности таких расходов. Анализ научных работ и публикаций зарубежных и отечественных авторов в области оценки эффективности маркетинговых исследований, показал недостаточное освещение указанной проблемы.
Рассматривая взгляды различных авторов на подходы к оценке эффективности маркетинговых исследований, можно сделать вывод, что все они во многом сходятся, так, например, Р.А. Щинова [1], Дж. О'Шонесси [2] и В.Д. Шкардун [3] отмечали в своих работах, что эффективность маркетинговых исследований во многом зависит от ценности получаемой инфор-
мации, которая используется для принятия управленческих решений.
Мнения разных авторов о критериях полезности и ценности информации также во многом схожи. Одними из основоположников развития теории ценности информации были К.Шеннон [4] и А.Н. Колмогоров [5].
На основании собственных исследований, Т.И. Шорохова выделяет такие критерии полезности информации, как: понятность, достоверность, надежность и релевантность [6], которые, в свою
очередь, делятся еще на более конкретные параметры.
Автором достаточно подробно рассматриваются критерии оценки информации, однако, некоторые характеристики дублируются, и данную классификацию можно представить в более сокращенном виде.
Аналогичный по содержанию, но более сжатый вариант приводит в своей работе [7] А.И. Дере-вягин (рис. 1), выделяя такие критерии ценности информации, как: достоверность, своевременность, полнота, доступность, полезность.
Рис. 1. Важнейшие качества информации Источник. Деревягин А.И. К ценности управленческой информации // Вестник ВГУ. Серия: Экономика и управление. 2009. № 1. С. 58.
И.Ю. Неждановым выделяются оценочные характеристики информации, исходя из ее свойств: объективность — субъективность, достоверность — недостоверность, полнота — неполнота, актуальность — неактуальность, ценность — бесполезность, понятность — непонятность [8]. В результате этого автором формируются три ключевых критерия оценки информации, включающие в себя основные свойства получаемых данных: релевантность, достоверность и значимость (табл. 1).
Можно согласиться с классификацией критериев ценности информации, предложенной И.Ю. Неждановым, поскольку она отражает основные свойства полезности информации, которые отмечали в своих работах как отечественные, так и зарубежные авторы.
Таким образом, можно выделить ключевые критерии качественной оценки ценности информации при определении эффективности маркетинговых исследований: это релевантность, достоверность, значимость.
Количественные меры ценности информации рассматривались еще в работах А.А. Харкевича [9] и М.М. Бонгарда [10], по мнению авторов, ценность информации может быть определена как разность между результатом решений, принятых с использованием данной информации и без нее.
Аналогичного мнения придерживаются Д. О'Шонесси. Он считает, что «ценность маркетинговой информации выражается денежным эквивалентом различий между решениями, которые принимаются при наличии информации и при ее отсутствии» [11].
С ним соглашается А.Д. Данилов, отмечая, что если «цель может быть достигнута несколькими
путями, то эффективность исследований будет определяться в уменьшении материальных или временных затрат, благодаря использованию информации» [12].
Задачу, связанную с минимизацией затрат при достижении поставленных целей на основе использования информации, изо дня в день решает практически каждый человек при покупке товаров и услуг.
Решение таких же задач является одним из важнейших составных элементов управления на предприятиях и в организациях. Поэтому лица, принимающие решения, уделяют особое внимание поиску качественной информации, которая поможет решить управленческие задачи с наименьшими затратами, то есть более эффективно.
Резюмируя все вышесказанное, для количественной оценки можно выразить эффективность маркетинговых исследований через общую формулу: как отношение положительного эффекта от принятия решения на основе полученной информации к затратам на сбор этой информации
Ет = (Р/ С х 100%, (1)
где
Ет —эффективность маркетингового исследования; Р — положительный результат, который получен в результате принятия управленческого решения, на основе информации от проведения маркетинговых исследований;
С — затраты на проведение маркетинговых исследований.
Достаточно подробное изучение вопроса оценки эффективности маркетинговых исследований мы сможем увидеть в работе М.И. Малкова [13], в которой автор проводит анализ опыта и результатов, полученных Е.Н. Али-хашкиной [14] и Ю.Ю. Ряховской [15]. Однако стоит отметить, что в указанных работах авторами отводится большое значение использованию метода экспертных оценок для расчета эффективности результатов маркетинговых исследований, что по нашему мнению очень субъективно, так как экспертами в данных исследованиях часто выступают сами сотрудники и руководители отделов маркетинга и стратегического планирования, которые, являясь зачастую заказчиками или исполнителями этих исследований, могут иметь личные интересы в представлении завышенных результатов эффективности маркетинговых исследований, что может привести к искажению реальной картины.
В то же время подходы к количественным оценкам эффективности маркетинговых исследований указанных авторов, по нашему мнению, представляют определенный интерес, в частности, выражение эффективности маркетинговых исследований через отношение изменения чистой прибыли к затратам на маркетинговые исследования. Это, в свою очередь,
Таблица 1
Критерии оценки ценности информации
Критерий Описание
Релевантность Соответствие информации целям исследования
Достоверность Насколько представленное описание отражает действительность (точность, надежность)
Значимость Полнота освящения проблемы Своевременность и достаточность для принятия решений
Источник. Составлено автором на основании анализа: Нежданов И.Ю. Аналитическая разведка для бизнеса. М.: Ось-89, 2008. С. 160-161.
также подтверждает результаты других авторов, полученные ранее.
Таким образом, можно выделить два основных подхода к оценке эффективности маркетинговых исследований: качественный (выраженный через ценность получаемой информации) и количественный (соотнесение затрат на получение информации с результатами принятых управленческих решений (изменение прибыли, оборота, количества или суммы).
Информация, получаемая в ходе маркетинговых исследований в социальных сетях, обладает не меньшей ценностью, чем данные, собираемые традиционными способами, и отвечает ключевым критериям полезности.
Рассмотрим критерии оценки информации, указанные в таблице 1, применительно к маркетинговым исследованиям в социальных сетях.
Релевантность информации при проведении такого метода исследования, как контент-анализ или мониторинг социальных сетей, определяется степенью соответствия анализируемых публикаций целям исследования. Современные средства мониторинга социальных сетей наряду с автоматизированными инструментами контент-анализа имеют возможность тонкой ручной настройки поиска упоминаний,что позволяет извлекать из социальных сетей точную и достоверную информацию.
При использовании опросных методов маркетинговых исследований релевантность определяется соответствием характеристик привлекаемых респондентов требованиям к целевой аудитории. Учитывая большие возможности точного поиска респондентов в социальных сетях на основе де-
мографических, психографических и поведенческих данных, и возможности установления соответствия респондентов требованиям исследования (на основании уточняемых сведений в профилях пользователей), уровень релевантности, будет значительно выше, чем при традиционных офлайн-ис-следованиях или исследованиях на специальных интернет-порталах.
Достоверность информации, получаемой из социальных сетей, ничуть не ниже по качеству, чем при традиционных исследованиях [16]. Практика доказывает это, поскольку большие объемы информации (возможность ее перепроверки) и современные возможности по проверке информации, содержащейся в профилях респондентов, активно используются в сети Интернет.
Одним из главных критериев оценки информации является ее значимость. Как было отмечено ранее, в понятие значимости входят такие свойства информации, как: полнота, своевременность, достаточность для принятия решения. Учитывая все достоинства социальных сетей как интернет-сервисов, которые впитали в себя ключевые положительные характеристики онлайн-исследований, можно утверждать, что исследования с использованием социальных сетей будут обладать большей значимостью и эффективностью для принятия решений, чем ставшие уже достаточно распространёнными онлайн-исследо-вания. Это важно, поскольку наряду с возрастающей скоростью получения результатов значительно снижаются затраты на проведения исследования.
Учитывая все рассмотренные нами достоинства информации, получаемой в ходе маркетинговых исследований в социальных сетях,
можно с уверенностью утверждать, что собираемые данные не будут уступать по качеству информации, получаемой с помощью использования традиционных оф-лайн- и даже онлайн-методов.
Таким образом, социальные сети удовлетворяют требованиям, предъявляемым к качеству маркетинговой информации, и в значительной мере эффективнее, чем традиционные подходы.
С точки зрения количественной оценки эффективности маркетинговых исследований в социальных сетях, стоит заметить, что ввиду того, что затраты на маркетинговые исследования в социальных сетях на порядок ниже, чем при традиционных исследованиях, причем как временные, так и финансово-трудовые, их эффективность выше в той же мере. На основании чего можно сделать вывод, что исследования в социальных сетях будут менее затратными, чем традиционные. А это значит, опираясь на формулу (1), можно сделать вывод, что при снижении затрат эффективность маркетинговых исследований будет возрастать.
На практике оценку эффективности маркетинговых исследований в социальных сетях можно рассмотреть на примере компании ООО «Адвиатор Медиа», занимающейся предоставлением услуг мобильного биллинга, интернет-рекламы, а также разработкой мобильных приложений. При обосновании своих предложений клиентам, заинтересованным в монетизации контента на своих сайтах, руководству компании была необходима своевременная и качественная информация, наличие которой позволило бы создать благоприятные условия для заключения выгодных контрактов на предоставление услуг в индустрии
мобильных развлечений. Для этих целей сотрудниками компании своими силами были проведены фокус-групповые исследования в социальных сетях «Вконтакте» и ЕасвЬоок. Затраты на проведение исследований представлены в таблице 2. При расчете затрат были учтены расходы на обучение сотрудников компании (отдел маркетинга), стоимость их работы при проведении непосредственно самого исследования. Помимо этого, в бюджет исследования были заложены дополнительные возможные затраты.
Таким образом, суммарные затраты на проведение исследования можно представить в следующем виде:
Зми= 5*320 руб.*40 ч.+ 20 000 руб.+ + 48*200 руб. + 28 800 руб. = = 121 600 руб.
Для сравнения стоимости исследований в таблице 3 нами были также представлены расходы на аналогичные исследования с использованием методов традиционных фокус-групп: З = 39 273 руб.*4 + 50 000 руб. +
ми
+ 48*1 200 руб. + 26 469 руб. = =291 161 руб.
Из таблиц 2 и 3мы видим, что исследования в социальных сетях обходятся значительно дешевле, это особенно актуально для малых и средних предприятий и организаций, которые не готовы выделять на маркетинговые исследования достаточное количество денежных средств. Помимо более низкой стоимости, исследования в социальных сетях требуют значительно меньших временных затрат. Для расчета эффективности маркетинговых исследований в социальных сетях нами была также составлена сравнительная таблица основных показателей (табл. 4).
Основная цель большинства организаций и предприятий — получение прибыли, отсюда следует, что одним из результирующих показателей для определения эффективности маркетинговых исследований, является показатель изменения прибыли. Однако ввиду того, что маркетинговые исследования лишь косвенно влияют на прибыль компании, необходимо понять, какую роль играют маркетинговые исследования в увеличе-
нии оборота предприятия или организации. В первую очередь нужно учитывать способность маркетинговых исследований влиять на принятие управленческих решений, что в конечном итоге напрямую влияет на реализацию товаров и услуг, причем информация, получаемая в ходе исследований, должна быть своевременной и качественной. Таким образом, при условии наличия информации для принятия решения,
Таблица 2
Средние расходы на проведение фокус-групповых исследований в социальных сетях с учетом затрат на обучение сотрудников и затрат на их привлечение к исследованию
№ Статья расходов Значение
1. Число сотрудников, привлеченных к участию в исследованиях 5
2. Средняя стоимость одного часа работы сотрудника, руб. 320
3. Количество часов, затраченных на проведение исследования и анализ результатов 40
4. Затраты на обучение сотрудников, руб. 20 000
5. Число привлеченных респондентов 48
6. Расходы на награждение 1-го респондента, руб. 200
7. Дополнительные расходы и риски (0,3 от запланированных), руб. 28 800
8. Итого затрат на исследование, руб. 121600
Источник. Данные ООО «Адвиатор Медиа».
Таблица 3
Средние затраты на проведение фокус-групповых при использовании традиционных методов
№ Статья расходов Значение
1. Средняя стоимость одной фокус-группы, руб. 39 273
2. Количество фокус-групп 4
3. Стоимость анализа результатов, руб. 50 000
4. Число привлеченных респондентов 48
5. Расходы на награждение 1-го респондента, руб. 1 200
6. Дополнительные расходы и риски (0,1 от запланированных), руб. 26 469
7. Итого затрат на исследование, руб. 291161
Источник. Авторские расчеты по данным с сайтов исследовательских компаний.
Таблица 4
Сравнительный анализ результатов исследований
Показатели Традиционный подход Предлагаемый подход
Полная стоимость исследования, руб. 291 161 121600
Срок проведения исследования, дней 21 4
Рассматриваемый временной период-квартал, дней 72 72
Количество контрактов, в месяц 14 30
Количество контрактов, в день 0,61 1,30
Средняя стоимость 1 контракта, руб. 300 000 300 000
Источник. Авторские расчеты по данным ООО «Адвиатор Медиа».
у руководства предприятия или организации больше шансов реализовать свои товары/услуги или заключить выгодный контракт.
Поэтому при разработке подходов к оценке эффективности маркетинговых исследований, по нашему мнению, необходимо учитывать такие ключевые факторы, как скорость получения данных и снижение качества информации во времени. Так, в условиях неопределенности при принятии решений необходима своевременная и качественная информация. За исследуемый временной период нами был взят один квартал (72 рабочих дня), при желании временные рамки можно расширить до года. На основании указанных нами критериев можно выразить эффективность маркетинговых исследований в социальных сетях по сравнению с использованием традиционных методов исследования через формулу (2):
Эффективность =
где ТЯ,
ОТ- Z
Ufa - Z
-1
х100%,
(2)
расчетный показатель выручки при использовании традиционных подходов к маркетинговым исследованиям;
ТЯ' — расчетный показатель выручки после использования предлагаемой автором методики ис-
следования (исследование в социальных сетях);
п — исследуемый временной период (количество дней); / — порядковый номер дня с момента начала исследования; Т — затраты на традиционное исследование;
Т — затраты на исследования в социальных сетях.
Показатель выручки с учетом изменения качества информации и своевременности ее получения можно рассчитать по формуле (3):
= (р, хд, +к,х0)хС, (3)
где
р= 1 - к: — показатель увеличения выручки при наличии исследования, рассчитывается по формуле (4):
Р = 1 - к,, (4)
к, =
1,
1 <i< t
— показатель
ц = (О2 - О1) х т.+ О1, (5)
где
01 и 02 — количество контрактов в день при использовании традиционной и авторской методики соответственно;
т— актуальность исследования, рассчитывается по формуле (6):
m =-
(6)
О, Г < /' < п наличия информации для принятия решения на основании проведенного исследования, к= 1 — информации нет, к= 0 — информация есть*;
t — временные затраты на исследование;
0 — количество контрактов; С — стоимость одного контракта; ц — количество контрактов в день с учетом изменения актуальности информации, рассчитывается по формуле (5):
где
/ — порядковый номер дня с момента получения информации по результатам исследования; п — исследуемый временной период.
На основании проведенных нами расчетов можно представить следующую результирующую таблицу 5.
Из таблицы 5 видно, что использование методов маркетинговых исследований в социальных сетях позволит компании избежать потерь ежеквартальной выручки в объеме 2 907 246 руб., что в процентном выражении дает нам 19% эффективности. В графическом представлении эффективность маркетинговых исследований в социальных сетях можно увидеть в на рисунке 2.
На рисунке 2 отображена зависимость выручки от качества информации, получаемой в ходе исследований и скорости ее получе-
Результирующая таблица
Таблица 5
n -1
n
Исследования в социальных сетях Традиционные методы исследования Упущенная выгода Эффективность предложений
Прогноз выручки в квартал, руб. 19 750 725 16 843 478 2 907 246 19%
Прогноз выручки в год, руб. 79 002 899 67 373 913 11628 986
Затраты на исследование в квартал, руб. 121600 291161
Источник. Авторские расчеты.
* Предположим, за исследуемый период мы взяли квартал п = 72 рабочих дня, время на исследование t = 4 дня. Первые 4 дня у нас низкий показатель выручки, т. к. нет информации (наш I - номер дня (1-й, 2-й, 3-й, 4-й день) больше или равен 1 и меньше или равен 4), на 5-й день появляется информация (наш I больше 4 и меньше 72). Соответственно, когда I становится больше 72 (прошел 1 квартал), необходимо новое исследование, т. к. информация стала неактуальной и выручка снизилась до прежнего уровня.
|Методика, предлагаемая автором (исследования в социальных сетях) ■Традиционная методика
460 000р. 370 000р.
(О *
| 280 000р.
Z m
190 000р. 100 000р.
1 12 23 34 45 56 67 78 89 100 111 122 133 144 155 166 177 188 199 210 221 232 243 254 265 276 287
Рабочие дни
Рис. 2. Прогноз выручки в зависимости от используемой методики исследования Источник. Составлено автором.
ния. Мы рассматривали ситуацию, когда исследования проводятся раз в квартал, к концу квартала прогноз выручки снижается, поскольку с течением времени снижается и качество информации (теряется ее актуальность), так как она устаревает и необходимы новые исследования. В случае с ис-
следованиями в социальных сетях период отсутствия информации для решений значительно ниже, чем при традиционных, поэтому прогноз выручки значительно выше.
Резюмируя все вышесказанное, можно сделать вывод, что
маркетинговые исследования в социальных сетях значительно эффективнее традиционных методов исследования, поскольку наряду со снижением расходов на проведение снижается и время получения информации необходимой для принятия управленческих решений.
ИСТОЧНИКИ
1. Щинова Р.А. Оценка экономической эффективности и результативности маркетинговых исследований // Проблемы современной экономики. 2011. № 1. С. 162.
2. Аакер Д Маркетинговые исследования / Д. Аакер, В. Кумар, Дж. Дей. СПб.: Питер, 2004. С. 297.
3. ШкардунВ.Д. Объекты маркетингового аудита // Маркетинг и маркетинговые исследования. 2003. № 1 (43). С. 21.
4. Шеннон К. Работы по теории информации и кибернетике / К. Шеннон. М.: Изд. иностр. лит., 1963. 830 с.
5. КолмогоровА.Н. Три подхода к определению понятия «Количество информации» // Новое в жизни, науке, технике. Сер. «Математика, кибернетика». № 1. 1991. С. 24—29. — Перепечатка из «Проблемы передачи информации». № 1. 1965. С. 1-7.
6. Шорохова Т.И. Сущность, структура и компоненты информационной культуры личности обучающегося в условиях дистанционного обучения // Инновации в образовании. 2008. № 9. С. 37-43.
7. Деревягин А.И. К ценности управленческой информации// Вестник ВГУ. Серия: Экономика и управление. 2009. № 1. С. 58.
8. Нежданов И.Ю. Аналитическая разведка для бизнеса / И. Ю. Нежданов. М.: Ось-89, 2008. С. 160-161.
9. ХаркевичА.А. О ценности информации. М. :Физматгиз, 1960. Вып. 4. С. 53 — 57.
10. Бонгард М. М. Проблемы узнавания. М.: Наука, 1967. 320 с.
11. Аакер Д. Маркетинговые исследования / Д. Аакер, В. Кумар, Дж. Дей. СПб.: Питер, 2004. С. 297.
12. Данилов А. Д Ценность информации и технологии «Электронного правительства» // Труды IV Всероссийской научной конференции «Электронное правительство в информационном обществе» // URL: http://www.infosoc.ru/ 2005/thes/61.pdf.
13. Малков М.И. Формирование системы оценки результатов маркетинговых исследований промышленных компаний. Автореф. дис. ... канд. экон. наук. : 08.00.05 / Малков М. И. М., 2009. 160 с.
14. АлихашкинаЕ.Н. Формирование информационной системы в маркетинговых исследованиях. Автореф. дис. ... канд. экон. наук: 08.00.05 / Алихашкина Е.Н. М., 1998. 182 с.
15. Ряховская Ю. Ю. Экономико-математические методы в проведении маркетинговых исследований сферы услуг. Автореф. дис. ... канд. экон. наук: 08.00.05 / Ряховская, Ю. Ю. М., 2005. 133 с.
16. Фили, М., Джитлмен С. Оптимальное сочетание респондентов из исследовательских панелей и социальных сетей / / Онлайн исследования в России 3.0 / Под ред. Шашкина А.В., Девятко И.Ф., Давыдова С.Г. М.: Издательский дом «Кодекс», 2012. С. 109-130.
Evaluating the Effectiveness of Marketing Research in Social Networks Pertsovski Naum I.,
phd, professor Department of Economic Theory Moscow State University of Mechanical Engineering (MAMI), 107023, Bolshaya Semenovskaya str., 38, Moscow, Russia ([email protected])
Galimov Ruslan R.,
graduate student, lecturer Department of Economic Theory Moscow State University of
Mechanical Engineering (MAMI) 107023, Bolshaya Semenovskaya str., 38, Moscow, Russia ([email protected])
In this article authors review the effectiveness of marketing research in the social networks. They define the basic criteria of qualitative and quantitative assessment of market researches in the social networks in the investigation. The practical example of marketing research in the social networks and the evaluation of its effectiveness are also considered there.
Keywords: marketing research; social networks; evaluation; effectiveness.
REFERENCES
1. Shchinova, R. A. Otsenka ekonomicheskoi effektivnosti i rezultativnosti marketingovykh issledovaniy [Evaluation of the economic effectiveness of marketing research ]. Problemy sovremennoy ekonomiki [Problems of modern economics], 2011, no. 1, p. 162.
2. Aaker, D., Kumar, V., Day, G. Marketing Research. In Russian. St. Petersburg, Piter Publ., 2004, p. 297.
3. Shkardun, V.D. Obhekty marketingovogo audita [Objects of marketing audit]. Marketing imarketingovye issledovaniya [Marketing and marketing research], 2003, no. 1 (43), p. 21.
4. Shennon, K. Works on information theory and cybernetics. In Russian. Moscow, Inostrannaya literatura Publ, 1963, 830 p.
5. Kolmogorov A.N. Tri podkhoda k opredeleniyu ponyatiya "Kachestvo informatsii" [Three approaches to the definition of «Quantity of information»]. New in the life, science, technology, ser. «Mathematics, Cybernetics», no. 1, 1991, pp. 24— 29. — Reprints of «Problems of Information Transmission», no. 1, 1965, pp. 1—7.
6. Shorohova, T.I. Sushchnost", struktura i konponenty informatsionnoy kultury lichnosti obuchayushchegosya v usloviyakh distantsionnogo obucheniya [The essence, structure and components of personal information culture of learning in terms of distance learning]. Innovatsii v obuchenii [Innovations in Education], 2008, no. 9, pp. 37—43.
7. Derevyagin, A.I. K tsennosti upravlencheskoy informatsii [Estimate value of management information]. VestnikVSU. Series: Economics and management, 2009, no. 1, p. 58.
8. Nejdanov, I. U. Analiticheskayarazvedka dlyabiznesa [Analytical intelligence for business]. Moscow,: Os'-89 Publ., 2008, pp. 160-161.
9. Harkevich, A.A. O tsennosti informatsii [About value information]. Moscow, Fizmatgiz Publ., 1960, edit. 4, pp. 53-57.
10. Bongard, M. M. Problemy uznavaniya [Problems of recognition]. Moscow, Nauka [Science] Publ., 1967, 320 p.
11. Aaker, D., Kumar, V., Day, G. Marketing Research. In Russian. St. Petersburg, Piter Publ., 2004, p. 297.
12. Danilov, A.D. Tsennosty informatsii i tekhnologii "Elektronnogo pravitelstva" [The value of information and technology, «Electronic Government»]. Proceedings of the IV All-Russian scientific conference «e-Government in the Information Society». Available at: http://www.infosoc.ru/2005/thes/61.pdf.
13. Malkov, M.I. Formirovanie sistemy otsenki resultatov marketingovykh issledovaniy promyshlennykh kompaniy [The formation of the evaluation system of the industrial marketing research companies], avtoref. diss. ... kand. ekon. nauk. : 08.00.05. Moscow, 2009, 160 p.
14. Alikhashkina, E.N. Formirovanie informatsionnoy sistemy v marketingovykh issledovaniyakh [The formation of the information system in marketing research], avtoref. diss. ... kand. ekon. nauk. : 08.00.05. Moscow, 1998, 182 p.
15. Ryakhovskaya, U.U. Ekonomiko-matematicheskie metody v provedenii marketingovykh issledovaniy sfery uslug [The Economic-mathematical methods in marketing research services], avtoref. diss. . kand. ekon. nauk: 08.00.05. Moscow, 2005, 133 p.
16. Filtz, M., Gittelman, S. Optimum Blending of Panels and Social Network Respondents. In Russian. Online research in Russia 3.0. Eds Shashkin, Devyatko, Davydov. Moscow, Publishing House «Kodeks», 2012, pp. 109-130.
