Научная статья на тему 'Эконометрический анализ эффективности воздействия рекламной активности на стратегические показатели развития компании (на примере рынка телекоммуникаций)'

Эконометрический анализ эффективности воздействия рекламной активности на стратегические показатели развития компании (на примере рынка телекоммуникаций) Текст научной статьи по специальности «Экономика и бизнес»

CC BY-NC-ND
2293
342
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ЭФФЕКТИВНОСТЬ РЕКЛАМЫ / РАСПРЕДЕЛЕНИЕ КОММУНИКАЦИОННОГО БЮДЖЕТА / КОММУНИКАЦИОННЫЕ ПОКАЗАТЕЛИ / ТРЕКИНГОВЫЕ ИССЛЕДОВАНИЯ / ВНЕШНЕ НЕ СВЯЗАННЫЕ УРАВНЕНИЯ / ПЛАНИРОВАНИЕ РЕКЛАМНОГО ВОЗДЕЙСТВИЯ / ЗАДАЧИ РЕКЛАМНОЙ КАМПАНИИ / TNS GALLUP MEDIA

Аннотация научной статьи по экономике и бизнесу, автор научной работы — Трутнева Е. А.

Работа посвящена оценке результатов рекламного воздействия на бизнес-показатели компании с помощью эконометрического анализа с учетом особенностей российских данных. Подробно анализируется понятие эффективности рекламы; обсуждаются современные прикладные методы планирования рекламного присутствия; рассматриваются существующие источники информации и типы проводимых исследований, распространенные в сфере маркетинга и рекламы в России и за рубежом. Методика оценки эффективности рекламной кампании описывается на примере реально существующей российской компании, успешно предлагающей свои услуги на рынке телекоммуникаций. Результаты применения этой методики дают возможность сделать содержательные выводы в отношении эффективности прошлых усилий по продвижению товаров и/или услуг и помогают разработать необходимую базу для получения практических рекомендаций в отношении стратегии и тактики коммуникационной кампании.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по экономике и бизнесу , автор научной работы — Трутнева Е. А.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Econometric Analysis of the Efficiency of Advertizing: Case Study of Telecommunication Company

The article covers applied research results of advertising influence on key business indicators estimation through econometrics methods considering Russian data specific. Detailed analysis of advertising efficiency concept is provided; modern principles of advertising exposure planning, which perceive advertising expenditures as an investment aiming on business indicators development are widely discussed. Key steps of the methodology are described on case of real telecommunication company operating in Russia. Information sources and the most employed types of surveys on Russian and international markets are overviewed. The results of introduced approach provide not only insights regarding post-campaigns efficiency evaluation, but also form the basis and leanings for further strategic and tactical communication efforts planning.

Текст научной работы на тему «Эконометрический анализ эффективности воздействия рекламной активности на стратегические показатели развития компании (на примере рынка телекоммуникаций)»

Эконометрический анализ эффективности воздействия рекламной активности на стратегические показатели развития компании (на примере рынка телекоммуникаций)1

Трутнева Е.А.

Работа посвящена оценке результатов рекламного воздействия на бизнес-показатели компании с помощью эконометрического анализа с учетом особенностей российских данных. Подробно анализируется понятие эффективности рекламы; обсуждаются современные прикладные методы планирования рекламного присутствия; рассматриваются существующие источники информации и типы проводимых исследований, распространенные в сфере маркетинга и рекламы в России и за рубежом.

Методика оценки эффективности рекламной кампании описывается на примере реально существующей российской компании, успешно предлагающей свои услуги на рынке телекоммуникаций.

Результаты применения этой методики дают возможность сделать содержательные выводы в отношении эффективности прошлых усилий по продвижению товаров и/или услуг и помогают разработать необходимую базу для получения практических рекомендаций в отношении стратегии и тактики коммуникационной кампании.

Ключевые слова: эффективность рекламы; распределение коммуникационного бюджета; TNS Gallup Media; коммуникационные показатели; трекинговые исследования; внешне не связанные уравнения; планирование рекламного воздействия, задачи рекламной кампании.

1 Телекоммуникация - любая передача или прием знаков, сигналов, рисунков и звуков или информации любой природы с помощью проводной, радио, оптической или другой электромагнитной системы. American National Standard for Telecommunications. Telecom Glossary 2000.

Трутнева E.A. - магистр экономики Государственного университета - Высшей школы экономики, руководитель группы математических методов анализа рекламы, Рекламное агентство Майндшер.

Статья поступила в Редакцию в октябре 2009 г.

Введение

Реклама играет существенную роль в деятельности огромного числа частных и государственных компаний: она стимулирует потребителя, формирует общественное мнение, позволяет продавать больше, но существенно увеличивает издержки. Планирование и распределение рекламных бюджетов таким образом, чтобы выгода существенно превышала затраты, является одной из важнейших задач для рекламодателя и/или специалистов, занимающихся планированием рекламной кампании. Но прежде чем распределять и устанавливать бюджет, необходимо понять, как измерить выгоду от рекламы. Как использование разных каналов коммуникации (или, другими словами, альтернативных каналов инвестирования рекламных средств) может повлиять на результат?

В данной статье предлагается подход, позволяющий оценить результаты рекламной кампании, определить ее эффективность с помощью эконометрического анализа. Основные шаги рассматриваемой методики описываются на примере реально существующей компании, успешно предлагающей свои услуги на рынке телекоммуникаций.

Проблема определения эффективности рекламы широко исследуется специалистами во всем мире, существует множество подходов и рекомендаций [3, 8, 9, 10, 11, 12, 13, 14, 15]. Но подавляющее большинство прикладных исследований носит «описательный» характер, не позволяющий точно понять детали используемых методик в силу их исключительной актуальности и, как следствие, коммерческой тайны. Огромное количество работ, посвященных теории, детально описывают, как может работать реклама: какое воздействие она оказывает на потребителя, компании, общество; что может являться мерой эффективности рекламы и объектом рекламного воздействия, а также многие другие вопросы [5]. Но все эти прикладные и научные работы, во-первых, выполнены на зарубежных данных, которые сильно отличаются от имеющихся в распоряжении российских специалистов (более развитые технологии, более «длинная» история доступных наблюдений и прочее). Во-вторых, в академических публикациях предметом обсуждения, как правило, является не методика, а эмпирическое подтверждение, опровержение или дополнение теоретической гипотезы или признанного научного факта. Таким образом, все изобилие научной и прикладной информации в области рекламы и оценки ее эффективности позволяет понять, как работает реклама в принципе, но не что нужно сделать с конкретными данными, имеющими отношение к компании, работающей в России, чтобы получить четкое представление, была ли ее реклама эффективной. Особенно сложной оказывается задача, если эти данные не так «безупречны», как того требует «высокая наука», тем не менее принимать обоснованное решение об объеме инвестиций в рекламу необходимо.

Российский рекламный рынок развивается значительными темпами - в 2001 г. его объем на душу населения составлял 9 долл., через восемь лет этот показатель вырос до 732 долл. В 2008 г. российский рекламный рынок занял 9 место по объему в мире, что составляет 10,5 млрд. долл., или 2,3% от суммарных мировых затрат. Россия существенно отстает по этому показателю от США, Японии, Китая и Германии, но уверенно опережает Испанию, Австралию, Южную Корею. Более 40000 ор-

2 Group M. Next Year This Year.

ганизаций3 в России ежегодно используют средства массовой информации и специальные рекламные носители для продвижения товаров и услуг. Однако об эффективности коммуникационного воздействия в России стали серьезно задумываться лишь сравнительно недавно, когда рекламный рынок вырос до уровня ведущих стран.

В разделе «Разработка стратегии рекламной кампании» описывается процесс планирования рекламного воздействия: определение целей кампании, роль участников рекламного рынка в этом процессе, используемая информационная база. «Описание рыночной ситуации» посвящено рассмотрению данных, используемых при планировании рекламной стратегии ведущей российской телекоммуникационной компанией, на примере которых в четырех последующих разделах иллюстрируется методика. Заключительная часть - «Результаты» - содержит основные итоги проведенной работы и примеры практических рекомендаций для будущей коммуникационной активности.

Разработка стратегии рекламной кампании

Планирование и эффективное распределение рекламного бюджета в идеале состоит из двух этапов: 1) определение эффективности прошлых кампаний, в том числе каждого коммуникационного канала; 2) распределение и/или установление рекламного бюджета. Первый этап обеспечивает необходимую информационную базу для второго, однако не все компании детально продумывают стратегию и тактику осуществления рекламного воздействия. В частности, если бюджет на рекламу мал, то планирование сводится к выбору самого дешевого канала коммуникации. Но основные участники рынка уделяют планированию большое внимание, вовлекая в этот процесс не только отделы рекламы и маркетинга рекламодателя, но и специализированные организации - рекламные агентства. Обычно внутри компании-рекламодателя формулируется задание - бриф, где указываются цели рекламной кампании, подробное описание товара/услуги, иногда ориентировочный бюджет и рекламные носители, которые обязательно должны быть использованы. Рекламное агентство предлагает стратегический и тактический план проведения кампании, в идеале позволяющие достичь поставленных целей. Агентство определяет каналы коммуникации и объем использования каждого из них для достижения целей при минимально возможных затратах.

Цели рекламной кампании обычно подразделяются на связанные непосредственно с основной деятельностью компании - бизнесом и коммуникационные. Коммуникационные цели - это увеличение знания марки или знания определенного сообщения, идеи ролика. Как правило, ключевые коммуникационные показатели эффективности измеряются в ходе специального исследования - трекинга (подробнее о трекингах см.: в [2, 4, 21, 23]). В настоящее время это наиболее популярный способ сбора информации о коммуникационных характеристиках марки4. Бизнес-цели - это достижение определенных экономических показателей деятельности фирмы: объемов продаж, доходов, прибыли и т.п. Как показывает международный и российский опыт [8, 11-13, 22, 24, 25], бизнес-цели гораздо слабее, чем коммуникационные, связа-

3 Источник: мониторинг TNS Gallup Media. 26178 рекламодателей потратили на рекламу более 5000 долл., 34254 рекламодателей потратили менее 5000 долл. в 2008 г.

4 Марка - здесь и далее торговое наименование товара или услуги, под которым товар или услуга известны покупателю и/или конечному потребителю.

ны с рекламной активностью - ведь на их достижение влияют и множество других факторов, таких как дистрибуция5, уровень цен, поведение конкурентов и прочее.

Иногда рекламные агентства берут на себя ответственность за достижение исключительно коммуникационных целей, но такая практика распространена на более развитых европейском и американском рынках.

В России, как правило, даже если ставятся коммуникационные или бизнес-задачи, то их достижение не проверяется должным образом, так как прочие элементы маркетингового комплекса, неожиданное поведение конкурентов и макроэкономическая ситуация могут объяснить почти любые несоответствия планируемых и полученных показателей. Более того, зачастую достижение целей (или выполнение планов) связывается с доходами сотрудников компании рекламодателя и/или рекламных агентств. Это вынуждает заинтересованных исполнителей «перестраховываться» и не искать оптимального пути получения результата, а стремиться достигнуть его, воздействуя на все доступные рычаги.

В подавляющем большинстве случаев не очевидно, какой из рычагов действительно повлиял на рост продаж или иных бизнес-показателей. Еще сложнее определить, какой из рычагов обеспечил наибольший результат при наименьших инвестициях. Например, в определенный момент времени компания увеличивает затраты на рекламу на 10%, и на 5% больше инвестирует в развитие дилерской сети. С одной стороны, поддержка дилеров - ключевой фактор: если товара нет на полке, то никакая реклама не поможет его продать. Но, с другой стороны, если нет рекламной кампании, дилеры потребуют большей платы за «выкладку» товара, а потребитель может и не обратить внимания на незнакомую марку.

Как упоминалось выше, задача оптимального планирования рекламного воздействия состоит в определении минимального уровня затрат на коммуникацию, которые обеспечат достижение поставленных целей, принимая во внимание влияние других маркетинговых инициатив, поведение конкурентов, изменения макроэкономической ситуации и прочих существенных факторов. Именно о таком понимании эффективных рекламных инвестиций пойдет речь ниже.

В данной работе предложен подход к оценке эффективности инвестиций в продвижение товара и/или услуги, основанный на методах эконометрического моделирования. Применение эконометрических методов необходимо, так как на показатель эффективности (например, продажи или доходы кампании) одновременно влияют многие факторы, но поскольку большинство из них представляют собой «конкурирующие» каналы воздействия, чрезвычайно важно выделить и количественно оценить вклад каждого из них, чтобы эффективно планировать рекламные кампании и прочие элементы маркетингового комплекса на будущие периоды.

Эконометрические модели успешно применяются для решения прикладных задач на каждом из двух этапов: анализ эффективности прошедшей кампании и разработка планов на будущее. Анализ прошедшей кампании должен позволить оценить, были ли выполнены поставленные цели, и если этого не произошло, то по какой причине. Несмотря на то, что «исторически» наблюдаемые события могут сильно отличаться от ситуаций, возникающих в будущем, планирование активности, основанное на анализе прошлого, дает практически применимые результаты. Во-первых, на

5 В данном случае под дистрибуцией понимается количество (или доля) торговых организаций, обеспечивающих «физическую» доступность товара для конечного пользователя в местах продаж.

основе полученной модели строятся прогнозы, и если модель перестает адекватно предсказывать реальность, вносятся корректировки. Во-вторых, происходящие рыночные изменения чаще всего не являются «шоком», а представляют собой развивающийся процесс, влияние которого можно предположить, например, в виде двух сценариев - оптимистичного и пессимистичного. В-третьих, очень большая часть рекламодателей при планировании рекламы принимает во внимание сезонную составляющую (не только спроса на свою продукцию, но и сезонное изменение цен на рекламу в СМИ) и деятельность конкурентов в прошлом периоде, что делает их стратегию достаточно предсказуемой и «инертной». В-четвертых, в модель может быть включен блок макроэкономических переменных, который позволит предусмотреть наиболее значимые для рассматриваемого рынка изменения экономической ситуации. В-пятых, даже реализация самой инновационной коммуникационной стратегии, которой никогда ранее не было, опирается на потенциал различных коммуникационных каналов, оцененный на исторических данных; если же стратегия обещает быть чрезвычайно эффективной, то могут быть введены соответствующие поправочные коэффициенты. Кроме того, можно отдельно исследовать связь результатов предварительных тестов, проверяющих способность рекламных сообщений (телевизионных роликов, рекламы в прессе и т.п.) побуждать потребителя совершить покупку, улучшить отношение к марке и прочее, и реально достигнутых результатов. Подобные исследования позволяют более точно корректировать исторические данные и улучшать качество планирования.

Основными барьерами широкого распространения эконометрического моделирования в повседневной работе специалиста по планированию рекламных кампаний являются: недоверие практиков от рекламы к «объективным» методам, непосредственно не основанным на эмпирическом знании; небольшое количество сотрудников рекламных агентств и маркетинговых отделов, способных провести подобный анализ; и самое главное, отсутствие в большинстве компаний систематизированной информации обо всех типах затрат и динамики ключевых показателей в пригодном для эконометрического анализа виде. Как правило, данные собираются не слишком часто (ежеквартально, раз в полгода), разные типы инвестиций агрегируются в соответствии с нуждами финансовых служб, что приводит к невозможности разделения инвестиций в разные каналы коммуникации, часто меняется методика сбора данных и прочее.

Задача этой работы - предложить прикладной подход к определению эффективности рекламной кампании, принимающий во внимание особенности российских данных; на примере продемонстрировать, как можно определить эффективность рекламы и использовать ее для установления объема рекламных инвестиций; показать, какие практические рекомендации в отношении коммуникационной стратегии можно разработать, опираясь на полученные в ходе анализа выводы.

Описание рыночной ситуации

На российском рынке существуют компании, которые ведут внутреннюю отчетность в форме, пригодной для эконометрического анализа эффективности рекламных инвестиций (с периодичностью не реже месяца и продолжительностью не менее двух лет). Именно таким примером является компания, вот уже более 15 лет работающая на рынке телекоммуникаций России и пяти стран, образовавшихся после распада СССР. В дальнейшем, в соответствии с требованием о конфиденциально-

сти, будем называть ее «компания А». Услугами этой компании пользуется более трети населения России, ее акции котируются на международных финансовых рынках.

На рынке телекоммуникаций существует «объективный» источник информации о поведении пользователей услуг (абонентов) - система внутренней отчетности компании, так называемая биллинговая система. В ней фиксируются все действия клиентов: расходы, подключения, трафик, срок пользования определенной услугой, миграции и прочее. Данные поступают в систему ежедневно, но только ежемесячные данные доступны для анализа.

Теоретически оптимальной периодичностью данных для анализа рекламного воздействия является неделя, но российская система мониторинга рекламных зат-рат6 устроена таким образом, что только затраты на рекламу на телевидении могут быть разбиты по неделям, затраты на остальные коммуникационные каналы доступны только с месячной периодичностью. Естественно, собственные затраты компании А точно известны, и могут быть распределены по неделям. Но необходимость включения в анализ характеристик поведения компаний-конкурентов, причины которой будут рассмотрены ниже, вынуждает использовать «индустриальные»7 данные TNS Gallup Intelligence, чтобы данные о затратах были сопоставимы. Суммарные затраты на рекламу компании А существенно отличаются от их оценки по данным официального мониторинга, который охватывает не все СМИ и регионы, где может размещаться реклама. Для большинства крупных рекламодателей данные TNS Gallup Intelligence охватывают 80-90% всех затрат, но для рынка телекоммуникаций это не справедливо. Компания А и ее основные конкуренты активно присутствуют в регионах, используют нестандартные носители8, поэтому их суммарные затраты на рекламу гораздо больше оцененных TNS Gallup Intelligence. Если использовать суммарные затраты рекламодателя А, то они не будут соответствовать по региональному охвату и по набору СМИ представленным в мониторинге инвестициям конкурентов.

Внутри компании А устанавливается, какой из показателей (или группа показателей), фиксируемых в биллинговой системе, является ключевым для дальнейшего развития. Как правило, это связано со стратегическими планами развития компании, и именно рост этого показателя будет отслеживаться в течение года. План коммуникационной активности должен отвечать на следующий основной вопрос: сколько нужно инвестировать в рекламу, чтобы ключевой показатель достиг плановых значений? Понятие «инвестиции» в полной мере отражает суть затрат на коммуникацию, поскольку основная цель компании, вкладывающей деньги в рекламу и прочие каналы стимулирования потребителя, - получить доход в будущем.

Основная проблема оценки эффективности рекламных расходов состоит в том, что отдачу от коммуникационных инвестиций трудно оценить напрямую. Многие мероприятия по стимулированию интереса потребителей к продукту производятся одновременно, и точно отделить эффект каждого и сравнить с вложенными средства-

6 Мониторинг TNS Gallup Intelligence - основной и легитимный провайдер данных мониторинга рекламы в СМИ в России, данные используются всеми участниками рынка. Подробнее о деятельности компании см.: [2].

7 Данные TNS Gallup Intelligence используются всеми основными участниками рекламной отрасли и в этом смысле являются «индустриальными».

8 Под носителями рекламы понимаются средства массовой информации и прочие объекты, которые могут быть использованы производителями товаров и услуг в рекламных целях.

ми непросто. Например, затраты на телевизионную рекламу в момент, когда они фактически были сделаны, могут вообще не повлиять на целевой показатель (бизнес-величину), но они приведут к увеличению знания рекламы, сформируют определенное отношение к продукту, что только через несколько периодов отразится на целевом показателе.

Для того чтобы продемонстрировать применяемый на практике подход, предположим, что устанавливается один ключевой показатель, на который ориентированы все усилия компании А, а именно увеличение (прирост) числа клиентов компании (абонентов) за один месяц, обозначенное NA.

Прирост базы клиентов № происходит из-за появления вновь подключившихся, принявших решение стать клиентами компании А ^А), однако каждый месяц происходит отток абонентов (№), что негативно отражается на размере клиентской базы и сокращает прирост - формально,

NAt = СА, - Ж,.

Таким образом, ключевой показатель - прирост числа клиентов - состоит из двух «разнонаправленных» составляющих, которые подвержены влиянию разных факторов или противоположному воздействию одних и тех же факторов.

Для того чтобы построить модель, объясняющую изменения прироста базы клиентов (далее - модель NA), нужно учесть, какие рекламные мероприятия и прочие факторы приводят к увеличению продаж, а какие - к сокращению оттока. Так как взаимодействие происходит одновременно, среди независимых переменных, влияющих на объясняемые показатели, есть одни и те же факторы. Наиболее подходящей спецификацией модели NA представляется система линейных одновременных уравнений

(1)

СА, = f (X, ) + е 8

^ = Г (Г, )+Вш ,

МА, = СА, - Щ,

где X, и У, - наборы объясняющих переменных. Анализ проводился, когда были доступны данные за 2,5 года, 30 месяцев (, = 1, 2...30), за период с января 2006 по июнь 2008 гг.

Объясняющие переменные

Услуги компании А можно разделить на три основных сегмента (I = 1,2,3), соответствующих потребностям трех целевых аудиторий. Эти группы предъявляют разные требования к услугам, при том что каждая из них составляет значительную долю в доходах компании. К первому сегменту относятся услуги и поддерживающие их рекламные кампании, направленные на массового потребителя. Ко второму сегменту - услуги и кампании, соответствующие потребностям молодежной аудитории. Наконец, к третьему сегменту относятся услуги, разработанные для пользователей, предъявляющих повышенные требования к качеству и сервису.

Компания А точно знает, кому она адресует то или иное предложение: в ее распоряжении имеются детальные социально-демографическое, поведенческое и психографическое описания этих трех аудиторий, анализ их потребностей в отношении телекоммуникационных услуг. Тем не менее компания может только предполагать, будет ли данное предложение интересно тому сегменту, для которого оно разрабатывалось. На практике невозможно точно предсказать потребности каждого представителя сегмента, и зачастую люди выбирают им «не предназначенные» предложения.

Не менее сложно разделить рекламные воздействия, предназначенные разным сегментам. Теоретически каждое предложение и сообщение должно быть направлено строго на конкретный сегмент и передано именно через те каналы коммуникации, которые подходят целевой аудитории. Но в реальности потребители воспринимают и реагируют на сообщения, которые напрямую им не адресованы. Компания А также использует сообщения, созданные для улучшения отношения к марке в целом (например, рекламные ролики о том, что компания А борется за защиту окружающей среды). Считается, что такого рода коммуникации должны влиять на всех потенциальных и текущих потребителей услуг, улучшая восприятие марки и, как следствие, повышая продажи; однако представители разных сегментов могут по-разному реагировать на сообщения, адресованные непосредственно им и направленные на другие аудитории.

В дальнейшем все рекламные сообщения компании А разбиваются на четыре группы, или типы, коммуникаций: три - соответствующие предложениям для разных сегментов, и четвертый тип - направленный на все сегменты.

Факторы, представляющие в модели маркетинговые инвестиции, - это затраты на рекламу и развитие каналов продаж (далее - Sd). Sd - это вознаграждение, выплачиваемое производителями телекоммуникационных услуг компаниям-посредникам, продающим эти услуги конечным потребителям. Условием получения вознаграждения является привлечение компанией-посредником (продавцом) определенного количества новых клиентов. Инвестиции представляются в денежном выражении: рекламные затраты - по типам рекламных сообщений, Sd - суммарно по всем каналам распространения, которые продают услуги компании А.

Все инвестиции в рекламу приведены к ценам базового года, с учетом того факта, что помимо среднего уровня инфляции в экономике на рекламные затраты влияла так называемая медиаинфляция. Это явление выражается в ежегодном росте цен на размещение рекламы, который может разниться от 0 до 100% в зависимости от СМИ и «качества» покупаемого рекламодателем «инвентаря»9. В среднем особенно сильно росли цены на ТВ-рекламу, меньше всего увеличились цены на прессу и радио. В исследуемый нами период изменения цен связаны с огромным ростом спроса со стороны рекламодателей, притом что качество предлагаемого представителями СМИ «инвентаря» существенно не менялось. Более того, принимая во внимание сокращение времени просмотра телевизора, количества телезрителей, чтения прессы

9 Под «инвентарем» понимается объект купли-продажи рекламных возможностей в СМИ. Например, в телевидении - это рейтинг, в прессе - полоса, в радио - количество выходов рекламных сообщений. Разное «качество» означает неоднородность инвентаря с точки зрения способности донести рекламное сообщение, а следовательно, разное ценообразование. Например, региональная и национальная ТВ-кампании имеют разную стоимость за рейтинг и разную медиаинфляцию.

и имевшее место «вымывание» из аудитории этих СМИ наиболее платежеспособной группы, можно предположить, что это качество, скорее всего, даже несколько ухудшалось.

Следующий фактор, влияние которого обязательно должно быть учтено при анализе эффективности рекламы, - это цена услуг, предоставляемых компанией А, а также цена услуг ее конкурентов. Принимая решение об использовании услуг телекоммуникационных компаний, клиент (уже привлеченный или потенциальный) ориентируется на заявленную цену продавцом и/или на свои представления о том, сколько он платит. Как показывают соответствующие исследования, в большинстве случаев представления потребителя и базовая стоимость предлагаемых услуг не совпадают с истинным объемом его затрат, однако это расхождение в данной работе не учитывается из-за отсутствия соответствующей информации.

В модель GA включается «истинная» средняя цена, заплаченная абонентами компании в отчетный месяц (PRICE), которая рассчитывается на основе статистики, собираемой в вышеупомянутой биллинговой системе. Цена включается в модель с учетом инфляции.

Рынок услуг телекоммуникационных компаний в России на национальном уровне является примером классической олигополии: три основных игрока имеют практически равные доли, предлагают очень похожие услуги и сервисы, «копируют» предложения друг друга. Существует масса примеров, когда затраты основных участников увеличивались на порядок только для того, чтобы не уступать конкуренту, опасаясь, что снижение присутствия в СМИ относительно других может существенно сократить бизнес-результаты. Конкурентное взаимодействие только усиливается, так как стремительный рост числа пользователей услуг, предоставляемых телекоммуникационными компаниями, остановился около двух лет назад, когда были охвачены около 70% населения. Рисунок 1 демонстрирует этот факт: до начала 2007 г. число пользователей росло практически экспоненциально, но, достигнув уровня 70%, динамика стала менее стремительной.

Рис. 1. Рост числа пользователей услугами сотовой связи Источник: TNS Gallup Media, Marketing Index 1998-2009.

В настоящее время основная борьба идет за клиентов других компаний, так как те, кто не охвачен услугами, представляют собой часть населения с существенно меньшими доходами и социальной активностью. Очевидно, что в такой ситуации необходимо учитывать инвестиции конкурентов в рекламу и Sd, основные рычаги воздействия на потребителя.

Рассматривалась также возможность включения в модель других переменных - например, изменения уровня жизни населения. К сожалению, небольшое количество доступных наблюдений с января 2006 по июнь 2008 гг. не позволило отделить влияние роста доходов от эффекта роста спроса на услуги телекоммуникационных компаний и увеличения маркетинговых инвестиций всеми участниками рынка. Вопрос о степени воздействия макроэкономической ситуации оставался открытым до появления кризисных явлений в экономике в конце 2008 г. - начале 2009 г. До этого момента влияние роста доходов «размывалось» и косвенно присутствовало в остальных факторах, демонстрирующих устойчивый рост, что не снижало предсказательную силу модели и позволяло ее использовать на практике.

Методология

В ходе работы с разнообразными данными, доступными для анализа результатов рекламного воздействия в российской практике, наблюдаются одинаковые сложности. Важно понимать «экономические» причины их возникновения, чтобы найти оптимальный метод борьбы, позволяющий получить содержательные и корректные результаты. Основными методологическими проблемами, возникающими при анализе воздействия разных каналов коммуникации, являются следующие.

1. Мультиколлинеарность. Все коммуникационные каналы используются одновременно: в периоды сезонных всплесков продаж спрос стимулируется рекламой, присутствие конкурентной активности становится более интенсивным. Даже если рекламные затраты производятся в разные периоды времени, принятие очень распространенного и эмпирически обоснованного предположения, что коммуникация «живет» более одного периода, означает, что часть прошлого воздействия будет перенесена на будущие периоды, а это способствует усилению зависимости объясняющих переменных. Уравнение с сильной мультиколлинеарностью может помочь установить, насколько хорошо группа факторов объясняет изменения в ключевом показателе, но не позволяет выделить влияние отдельного фактора, а это как раз то, что требуется для решения практических задач.

2. Автокорреляция. Наличие этой проблемы в ошибках и исходных данных, как правило, связано с тем, что реакция на рекламное сообщение или иное воздействие не происходит одномоментно. Часто можно наблюдать «отложенный» эффект рекламы или распределение его во времени (модель распределенных лагов). Большая часть величин, влияющих на эффективность рекламы, подвержена неявному влиянию со стороны значительного числа трудноформализуемых факторов, воздействие которых повторяется от периода к периоду.

3. Эндогенность исходных данных, т.е. обоюдные причинно-следственные связи между переменными, считающимися объясняемыми и объясняющими. Классическим примером данных, подверженных этой проблеме, является информация, полученная в ходе трекинговых исследований, в частности анализ влияния текущего использования марки на намерения ее купить - намерение купить в предыдущий момент времени

является причиной текущего использования или намерение купить возникает по причине наличия позитивного опыта? В данной модели подозрения на эндогенность возникают при рассмотрении включения практически всех объясняющих факторов: от цены до затрат на рекламу. Компания может принимать решение об уровне рекламных инвестиций и цены в зависимости от динамики абонентской базы, более того, зачастую так и происходит. Но не менее распространена тактика установления и цены, и степени рекламного присутствия в зависимости от стратегических планов компании, которые, хоть и строятся, принимая во внимание историю, но в большей степени связаны с представлениями о будущем компании. В данной работе проблема эндогенности не рассматривается подробно. Все переменные прошли проверку тестом Гренджера, были специфицированы альтернативные варианты систем и отдельных уравнений, где объясняющие переменные выступали объясняемыми. Все проведенные тесты показали отсутствие «обратных» причинных связей. Финальная система не оценивалась такими методами, как трехшаговый МНК или GMM, поскольку применение инструментальных методов для решения прикладных задач в сфере маркетинга и рекламы заслуживает отдельного обсуждения, в частности из-за проблемы выбора подходящих инструментов.

Практически все перечисленные выше сложности можно увидеть в рассматриваемом примере - построении модели NA, описывающей воздействие комплекса маркетинговых мероприятий на прирост количества клиентов компании А. В ходе решения большого количества практических задач подобного рода разработан четы-рехшаговый подход, позволяющий учитывать указанные трудности и получить содержательный результат. На первом шаге проводится анализ рыночной ситуации и всех доступных данных, которые могут оказаться объясняющими переменными. На втором этапе определяется, существует ли эффект распределенного во времени влияния отобранных факторов на прирост числа клиентов. Третий этап посвящен сокращению числа объясняющих переменных, но не за счет их исключения, а с помощью применения метода главных компонент. Четвертый шаг - спецификация уравнения.

Первый шаг: предварительный анализ доступной информации

На первом шаге проводится анализ рыночной ситуации и всех доступных данных, которые могут оказаться важными. По итогам этого анализа формулируется список переменных, используемых в эконометрической модели прироста числа клиентов NA: объясняемая переменная, максимально возможное количество факторов, которые могли оказать на нее влияние; а также выбираются возможные экономет-рические спецификации и методы оценки. По итогам первого шага предлагается включение в модель NA, объясняющую изменения прироста клиентской базы компании А, следующих объясняющих факторов.

1) Цена - PRICE) компании А, рассчитанная на основе внутренней отчетности. На основе цен двух основных конкурентов рассчитывается средняя цена их услуг -PRICE ctomp, которая определяется как средневзвешенная на размер абонентской базы конкурентов 1 и 2 .

2) Затраты на рекламу по типам коммуникации. Учитываются те затраты операторов сотовой связи, которые попали в мониторинг TNS Gallup Intelligence. Это

затраты на проведение национальных кампаний на ТВ и в прессе, а также локальных на радио и в наружной рекламе.

3) Инвестиции в Sd - внутренняя информация компании о собственных затратах и экспертная оценка инвестиций конкурентов.

Модель NA представляет собой систему линейных одновременных уравнений, первое уравнение которой описывает влияние факторов на продажи, а второе - на отток клиентов из абонентской базы.

Дополнительным аспектом, установленным при предварительном анализе и определяющим спецификацию модели, является взаимосвязь оттока в текущем месяце и продаж в предыдущем периоде (рис. 2). Это объясняется двумя основными причинами. Во-первых, эффектом «большой марки» - чем больше потребителей выбирают товар, тем больше будет «недовольных». Конечно, если посмотреть на относительные показатели, то среди пользователей «большой марки» доля «недовольных» может быть существенно ниже, чем у «маленькой». Но в абсолютном выражении количество «недовольных» будет пропорционально их большим продажам. Во-вторых, играет роль специфика рынка: если человек стал клиентом телекоммуникационной компании давно, то у него есть серьезные причины, чтобы оставаться в числе абонентов, - например, смена телефонного номера, сопряженная с очевидными неудобствами. А если выбор произошел недавно, но возникло недовольство или заинтересовало предложение конкурентов, то нет серьезных оснований оставаться.

R2 = 0,330

Новые подключения - продажи ^А), индекс

Рис. 2. Соотношение между «оттоком»/переходом в неактивное состояние и новыми продажами

В общем виде модель NA представляет собой систему линейных одновременных уравнений

(2)

GA] = a0 +еееaj •Addecjk + £bk• Sddec^ + ¿ jk • PRICE^ +g¡ • Seas1 +e¡,

j=1k=0 4 2

k=0 2

k=0 2

NS) = f0 + ££f j • Addecjl + ^m k ' Sddeckt1 + ^ У k ' PRICEkt1 +yj • Seas ji +

j =1 k =0 k =0 k =0 , i ^ л i , i

+v • GAt — +e 2,

4 2 2 2

GAt =a o jk • AddecJn + 2 • Sddect2 + 2 • PRICEtj +gj • Seas2 +e1;

j=1 k=0 42

k=0 2

ее

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

k=0

k=0

2 е2

k=0

NSj = f 2 jk • Addecjj + £mj • Sddeck2 + £ Уo • PRICEkn +gj • Seasj

j=1 k =0 +v2 • GAt2_1 +e j,

GAt = a 0 +ее le a % • Addecj + £ b 3 • Sddec* +£ j 3 • PRICE^ +y 3 • Seas^ + e 3,

j=1 k=0 k=0 k=0

NSt = f 0 +ее ее f 3k • Addecj + ее m3 • Sddec% +ее y3 • PRICEkt +y j • Seas,2, +

j=1 k =0 A-i +e j,

t = 1,2....30,

k=0

k=0

где Ad - группа переменных, описывающих затраты на рекламу для каждого рекламодателя и типа коммуникации (например, Addec^1 - затраты на рекламу конкурента 1 в сегменте 1 в уравнении для GA). Важной особенностью является то, что продажи и отток для каждого сегмента определяются рекламой, не только предназначенной непосредственно для представителей этого сегмента, но и направленной на другие;

Sd - инвестиции в каналы продаж (Sddec ^ - инвестиции в стимулирование дилеров конкурента 1 в уравнении GA);

PRICE - средняя цена услуг в сегменте;

SEAS - сезонность. Для GA - это дамми-переменная, принимающая значение единица в период с июня по август. Для NS - это две дамми-переменные, приходящиеся на ноябрь и декабрь. Увеличение притока клиентов летом связано с периодом отпусков и ростом предложения соответствующих услуг. В декабре отток резко сокращается - в период подготовки к новому году старые клиенты не склонны менять поставщиков телекоммуникационных услуг. А в ноябре, как правило, происходит ежегодное сокращение прироста числа абонентов.

Полная система состоит из шести уравнений, описывающих GA и NS для каждого сегмента, и включает в себя 20 параметров, подлежащих оценке в каждом уравнении GA и 21 параметр в каждом уравнении NS. Как уже упоминалось выше, разделение на сегменты связано с различными потребительскими предпочтениями и потребностями в отношении телекоммуникационных услуг и, как следствие, с различными маркетинговыми инициативами, которые фирма А и ее конкуренты продвигают на рынок. Для того чтобы оптимизировать затраты компании на рекламу, необходимо понимать, как работает коммуникация каждого сегмента, в какой степе-

ни она способна поддерживать прирост числа клиентов, относящихся к собственной группе, есть ли какое-либо воздействие на показатели других групп. Для решения практических задач необходимо оценить коэффициенты полной системы, но в данной статье рассмотрим подробно, как предлагаемый метод работает на примере двух уравнений, описывающих прирост числа клиентов в первом сегменте - массовой аудитории.

В системе присутствуют две эндогенные переменные - GA и NS, причем GA в период t - 1 входит в уравнение NS. Помимо этого, взаимозависимость эндогенных переменных выражается в том, что они по-разному зависят от одних и тех же экзогенных переменных. Оценка коэффициентов модели как системы внешне не связанных уравнений (SUR - seemingly unrelated regressions) обусловлено наличием зависимости между остатками уравнений GA и NS. Совместное оценивание уравнений повышает эффективность оценок и учитывает тот факт, что объясняемые переменные одновременно реагируют на схожие факторы.

Система 2 представляет собой общий вид того, как должна была бы выглядеть задача теоретически. Небольшое количество наблюдений не позволяет оценить уравнение, специфицированное таким образом. Помимо этого, многие объясняющие переменные не могут быть включены в модель без предварительных преобразований. В табл. 1 представлена корреляционная матрица, отражающая высокую зависимость объясняющих величин и, как следствие, возникающую мультиколлинеарность.

Таблица 1.

Корреляционная матрица для эндогенных и экзогенных переменных, входящих в модель, %

GA1t NS1t SEAS1t1 Sdt Sd comp2t Sd comp1t PRICE1t PRICE2t PRICE3t SEAS1t2

GA1t 100 30 30 75 10 61 -49 -41 -43 -25

NS1t 30 100 7 35 -20 -17 -27 -25 -28 62

SEAS1t1 30 7 100 23 31 53 31 26 33 -4

Sdt 75 35 23 100 0 46 -52 -47 -47 -22

Sd comp2t 10 -20 31 0 100 47 70 79 73 -35

Sd comp1t 61 -17 53 46 47 100 8 10 19 -59

PRICE1t -49 -27 31 -52 70 8 100 96 98 -1

PRICE2t -41 -25 26 -47 78 10 96 100 96 -4

PRICE3t -43 -28 33 -47 73 19 98 96 100 -6

SEAS1t2 -25 62 -4 -22 -35 -59 -1 -4 -6 100

GA1t-1 78 57 13 75 6 24 -40 -30 -38 6

Ad1t 13 -16 24 -14 39 41 34 26 38 -27

Ad3t -18 1 -21 -8 23 -19 12 21 15 20

Ad4t 1 -1 16 -11 53 6 49 54 49 -1

Ad2t -47 -28 -18 -31 10 -24 27 34 22 4

Ad11t -24 -49 -13 -50 49 18 52 57 56 -33

Ad13t 7 4 -27 20 1 2 -6 0 -3 5

Ad14t -20 -23 4 -23 63 18 49 50 50 -30

Ad12t 31 11 20 44 -7 39 -20 -28 -14 -11

Ad21t -23 -21 -8 -18 18 8 7 14 13 -18

Ad23t 12 -1 -5 6 33 37 3 14 14 -30

Ad24t -16 -1 25 -11 52 13 61 67 62 -5

Ad22t -36 -23 1 -29 32 -7 32 37 30 -15

Окончание табл. 1.

САЧ-1 | Ad1t | Ad3t | Ad4t | Ad2t | Ad11t | Ad13t | Ad14t | Ad12t | Ad21t | Ad23t | Ad24t | Ad22t

САЧ 78 13 -18 1 -47 -24 7 -20 31 -23 12 -16 -36

^Ч 57 -16 1 -1 -28 -49 4 -23 11 -21 -1 -1 -23

SEAS1t1 13 24 -21 16 -18 -13 -27 4 20 -8 -5 25 1

Sdt 75 -14 -8 -11 -31 -50 20 -23 44 -18 6 -11 -29

Sd comp2t 6 39 23 53 10 49 1 63 -7 18 33 52 32

Sd сотрН 24 41 -19 6 -24 18 2 18 39 8 37 13 -7

РИГСЕЧ -40 34 12 49 27 52 -6 49 -20 7 3 61 32

РИГСЕЧ -30 26 21 54 34 57 0 50 -28 14 14 67 37

РИГСЕЧ -38 38 15 49 22 56 -3 50 -14 13 14 62 30

SEAS1t2 6 -27 20 -1 4 -33 5 -30 -11 -18 -30 -5 -15

саЧ-1 100 -11 -12 6 -35 -41 26 -32 19 -39 -1 1 -37

Ad1t -11 100 -1 -2 -55 53 -35 44 -11 -11 15 -13 1

Ad3t -12 -1 100 -10 21 18 -1 42 -14 51 34 6 30

Ad4t 6 -2 -10 100 9 23 22 4 -14 -8 -10 50 -20

Ad2t -35 -55 21 9 100 9 30 12 -13 31 -4 43 19

Ad11t -41 53 18 23 9 100 -5 44 -58 22 21 18 19

Ad13t 26 -35 -1 22 30 -5 100 -23 9 -4 3 25 -23

Ad14t -32 44 42 4 12 44 -23 100 -13 54 57 5 64

Ad12t 19 -11 -14 -14 -13 -58 9 -13 100 1 10 -13 -15

Ad21t -39 -11 51 -8 31 22 -4 54 1 100 73 5 45

Ad23t -1 15 34 -10 -4 21 3 57 10 73 100 6 46

Ad24t 1 -13 6 50 43 18 25 5 -13 5 6 100 -1

Ad22t -37 1 30 -20 19 19 -23 64 -15 45 46 -1 100

Для борьбы с этими явлениями, т.е. для снижения размерности задачи и избавления от негативного влияния на оценки взаимозависимости факторов, на третьем шаге используется метод главных компонент.

Но еще до решения этих задач проверяются предположения о наличии отложенного эффекта определенной кампании или о существовании рекламного воздействия, распределенного во времени. Тест на определение отложенного эффекта рекламы представляет собой второй шаг реализуемого подхода.

Второй шаг: определение эффекта рекламы, распределенного во времени

Существование отложенного эффекта воздействия маркетинговых инвестиций на ключевую величину широко обсуждалось в различных работах зарубежных специалистов [1, 2, 10] и было неоднократно доказано аналитически и подтверждено эмпирически. Действительно, реклама обладает способностью создавать некоторое впечатление, которое может побуждать потребителя осуществить выбор не только в момент контакта с рекламным сообщением, но и гораздо позже [1, 2, 7, 10, 16, 17, 24]. Таким же свойством обладают затраты на поощрение дилеров, но их отложенное во времени воздействие связано с «эффектом обучения». Продавцы в магазинах, продавая услуги компании А, каждый последующий месяц будут делать это лучше и лучше, так как приобретут соответствующий навык, детально изучат услуги компании и прочее.

На первом этапе все объясняющие переменные, кроме сезонности и GAj_j, проходят оценку c использованием преобразования Койка для проверки гипотезы о равенстве нулю коэффициента при лаговой зависимой переменной, показывающей, какая часть воздействия в момент времени t переносится на следующий период (carry-over factor - CF - фактор «переноса»).

Методом наименьших квадратов (МНК) оцениваются следующие уравнения для каждой переменной:

GAt = a0 + CF1k ■ GAt_ +a2 • X't,

(3) NSt =bо + CFik ■ NSt_i +b2 ■ X't,

k = 1,2....6,

X = Ad, Sd, PRICE,

где k - индекс, принимающий значения от 1 до 4 для переменных группы Ad, равный 5 для Sd и 6 - для PRICE.

Полученный коэффициент при лаговой зависимой переменной является первой, предварительной оценкой параметра «переноса». Оценка этого параметра принимается к дальнейшему использованию, даже если коэффициенты незначимы при 95-процентном уровне значимости. Основная задача, для решения которой используется преобразование Койка, - получение стартового значения для дальнейшей работы с коэффициентом.

Объясняющие переменные преобразуются по следующему принципу:

Xdech = X't + CFj ■ X't_i,

(4) k = u....6,

X = Ad, Sd, PRICE, j = 1,2,

где суффикс dec указывает, что переменная группы преобразована с использованием соответствующего фактора «переноса».

В систему (2) уже входят преобразованные переменные с индексом dect (или без него, если оказалось, что использование фактора переноса не улучшает модель). После подстановки преобразованной переменной производится финальная, «техническая» проверка корректности полученного фактора, так как оценка уравнения Койка МНК не всегда будет несмещенной. Для проверки используется оптимизационная процедура, которая для каждой из переменных подбирает факторы «переноса» одновременно, так, чтобы минимизировать MSE (mean squared error - среднеквадратичную ошибку) в системе (2). Проверка названа «технической», так как дает результаты, не проверяемые статистически, но позволяет оценить значения альтернативных факторов «переноса», которые могут быть использованы для финального преобразования переменной. Итоговый выбор значений CF - фактора для каждой переменной, осуществляется после сравнения прогнозной силы моделей с разными CF и «экономической» обоснованности полученного значения.

Таблица 2.

Примеры оценок параметров уравнений Койка (29 наблюдений)

Переменная

Коэффициент Стандартная ошибка t-статистика

Р-значение

Ad4t

RES(-1)

C

0,0013 0,29 -0,03

0,0011 0,18 0,04

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

1,17 1,61 -0,86

0,25 0,12 0,40

R-квадрат 0,16

Скорр. R-квадрат 0,096

Станд. ошибка 0,16 Akaike инф. критерий -0,697

Сумма квадратов Schwarz инф.

остатков 0,69 критерий -0,556

Log likelihood 13,11 F-статистика 2,49

Дарбин - Уотсон 2,02 Prob(F-статистика) 0,10

Переменная

Коэффициент Стандартная ошибка t-статистика

Р-значение

Sdt

RES(-1) C

0,0006 0,23 -0,18

0,0005 0,19 0,15

1,22 1,19 -1,20

0,23 0,25 0,24

R-квадрат 0,15

Скорр. R-квадрат 0,08

Станд. ошибка 0,19 Akaike инф. критерий -0,43

Сумма квадратов Schwarz инф.

остатков 0,899 критерий -0,29

Log likelihood 9,21 F-статистика 2,28

Дарбин - Уотсон 1,96 РгоЬ^-статистика) 0,12

Переменная

Коэффициент Стандартная ошибка t-статистика

Р-значение

Ad1t

RES(-1)

C

0,0015 0,19 -0,15

0,0006 0,18 0,07

2,31 1,06 -2,16

0,029 0,3 0,04

R-квадрат 0,27

Скорр. R-квадрат 0,21

Станд. ошибка 0,15 Akaike инф. критерий -0,83

Сумма квадратов Schwarz инф.

остатков 0,60 критерий -0,69

Log likelihood 15,07 F-статистика 4,73

Дарбин - Уотсон 2,06 РгоЬ^-статистика) 0,02

Представление о распределенном во времени воздействии факторов как о бесконечном, геометрически убывающем процессе является наиболее удобным предположением с практической точки зрения, так как небольшое количество наблюдений, значительное число объясняющих переменных и месячная периодичность не позволяют определить точное количество лагов и «точный» закон, в соответствии с которым они убывают.

В финальной модели NA только три переменные были подвержены преобразованию с помощью фактора «переноса»: инвестиции в рекламу сегмента 1, в коммуникацию 4-го типа и в стимулирование дилеров. Были получены значения CF 19, 29 и 23% соответственно.

Содержательно наличие этого фактора свидетельствует о том, что затраты имели распределенный во времени эффект и их влияние продолжалось дольше, чем шла кампания, и вклад каждого последующего месяца усиливался за счет предыдущего. Коммуникация для сегмента 1 (Addec1) является основной, на нее тратится большая часть рекламного бюджета, и до аудитории доносятся основные предложения и ценности марки. Коммуникация четвертого типа (Addec4 ) также создана для долгосрочной мотивации, но из-за относительно низких затрат и слабой реализации креативной идеи ее общее влияние не было велико; однако в воздействии этого типа коммуникации на рост абонентской базы в сегменте 1 четко наблюдается отложенный во времени эффект. «Акселерация» действия стимулирования дилеров объясняется тем, что происходит «эффект обучения» сотрудников торговых точек, упомянутый выше, - они начинают лучше продавать услуги компании А, если это происходит уже не первый месяц.

Третий шаг: сокращение числа объясняющих переменных

Небольшое количество наблюдений и значительное число взаимосвязанных факторов, влияние которых необходимо оценить, являются основной проблемой при работе с реальными данными. Метод главных компонент (МГК) позволяет ее решить в данном случае и во многих других практических задачах, в работе над которыми автор принимал участие. Факторы, между которыми наблюдается высокая корреляция (например, дилерское вознаграждение и средняя цена за минуту), подвергаются преобразованию этим методом только в том случае, если они могут быть «восстановлены» с помощью коэффициентов перехода, с сохранением «экономического» смысла.

Практическая применимость этого метода часто подвергается критике из-за того, что восстановление исходных факторов из полученных компонентов приводит к искажению «экономического» смысла, а компоненты сами по себе трудно интерпретируемы. Но данные о затратах на рекламу разных типов, как правило, очень хорошо сохраняют смысл после применения МГК. Кроме того, этот метод дает хорошие результаты при работе с данными трекинговых исследований, изучающих восприятие имиджа - в анкете присутствуют десятки выражений, отражающих восприятие марки, которые сильно связаны между собой.

В финальной модели присутствуют три переменные, полученные методом главных компонент. Первую формируют дилерское вознаграждение и цена, входящие в уравнение, описывающее продажи ^А). Каждый из факторов входит с высокой зна-

чимостью в финальное уравнение, но их собственная взаимозависимость не давала возможности включить оба. Фактор, полученный после объединения методом главных компонент, оказался не только легко интерпретируемым, но и сохранил «экономически» обоснованные знаки. Результаты представлены в табл. 3 и 4.

Таблица 3.

Компоненты переменной PRICE_Sd_Sales

Компонент 1 объясняет 85,24% дисперсии 0,923 0,923

Таблица 4. Коэффициенты перехода

Коэффициенты

3,6183210530

0,0000000320

0,0000000009

PRICE1t Sddect1_Comp

т1егсер1

PRICE1t

Sddect1_Comp

Метод главных компонент также использовался для того, чтобы создать факторы, учитывающие негативное воздействие рекламы конкурентов. В модель они входят под названием Сотр1 и Сотр2. Эти факторы составлены из переменных, отражающих затраты на кампании, направленные на сегменты 1, 2 и 3 конкурента 2 и на сегменты 1 и 4 конкурента 1. Проверялось воздействие на объясняемые переменные всех кампаний конкурентов, но только выбранные оказали значимое воздействие. Особенно сильное негативное влияние именно этих кампаний отмечается для сегмента

1, в моделях для групп 1 и 2 ключевую роль играли другие коммуникации конкурентов. Вывод о том, что конкурент 2 в течение анализируемого периода был наиболее «опасен», подтверждается другими исследованиями: именно для конкурента 2 в изучаемый период наблюдался рост популярности и привлекательности марки. Результатом применения МГК стало сокращение размерности каждого уравнения. Коэффициенты, полученные после применения Varimax вращения, и матрица перехода в «исходное» состояние для факторов приведены в табл. 5 и 6.

В табл. 7 представлены корреляционная матрица для факторов, которые вошли в финальное уравнение. Единственная высокая корреляция, от которой не удалось избавиться, не теряя смысла и не ухудшая качества модели, осталась в уравнении для № - средняя стоимость минуты конкурирующих марок (РМСЕ°°тр), которая связана с фактором, отражающим рекламную активность конкурентов (С°тр1 + Сотр2). Однако она не привела к ухудшению качества модели и к неустойчивости оценок коэффициентов. Анализ влияния каждого из указанных факторов важен с точки зрения практического применения результатов моделирования, так как дает ответ на вопрос, что больше влияет на отток клиентов компании А: привлекательная коммуникация конкурентов или более выгодные цены.

Таблица 5.

Компоненты переменных Compl, Comp

Компонент 1 объясняет Компонент 2 объясняет

73,1% дисперсии 21,2% дисперсии

Addec14t2 0,4094 -0,0417

Addecut2 -0,1360 1,0328

Addec21t2 0,0159 -0,0025

Addec23t2 0,0073 -0,0009

Addec22t2 0,7142 -0,1573

Таблица 6.

Коэффициенты перехода

Коэффициенты

Intercept 0,251545258953

Addec14t2 -0,000000001118

Addec11t2 -0,000000002482

Addec21t2 -0,000000000162

Addec23t2 -0,000000000116

Addec22t2 -0,000000001224

Таблица 7.

Корреляционная матрица переменных, вошедших в систему (6), %

Переменные, формирующие первое уравнение системы

GA1t SEAS1

GA1t 100,0 29,5

SEAS1t1 29,5 100,0

PRICE_Sd_SALES 52,7 -21,5

Addec4t1 0,2 21,2

Addec1t1 10,8 26,2

D2 41,4 -33,0

NS1t 29,7 7,5

SEAS1t2 -25,3 -4,1

GA1t-1 78,0 13,0

D1 17,5 -11,0

Addec12t2 -47,2 -18,2

Comp1+ Comp2 -33,6 19,3

PRICEcomPt -42,3 29,0

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Addec4t1 Addec1t1 D2

0,2 10,8 41,4

21,2 26,2 -33,0

-48,3 -51,7 7,2

100,0 23,7 -5,8

23,7 100,0 -4,9

-5,8 -4,9 100,0

0,0 -16,8 -7,4

-0,6 -24,5 -27,0

5,0 -8,4 30,9

-17,0 -14,0 -0,5

11,3 -54,0 4,8

38,9 13,3 -2,7

62,8 45,8 -9,7

52,7 -21,5 100,0

-48,3 -51,7 7,2

42,4 7,7 57,4 26,6 -27,2 -65,0 -92,4

Окончание табл. 7.

Переменные, формирующие второе уравнение системы

NS1t SEAS1t2 GA1t-1 D1 Addec12t2 Comp1 + Comp2 PRICEcomP1t

GA1t 29,7 -25,3 78,0 17,5 -47,2 -33,6 -42,3

SEAS1t1 7,5 -4,1 13,0 -11,0 -18,2 19,3 29,0

PRICE_Sd_SALES 42,4 7,7 57,4 26,6 -27,2 -65,0 -92,4

Addec4t1 0,0 -0,6 5,0 -17,0 11,3 38,9 62,8

Addec1t1 -16,8 -24,5 -8,4 -14,0 -54,0 13,3 45,8

D2 -7,4 -27,0 30,9 -0,5 4,8 -2,7 -9,7

NS1t 100,0 62,2 57,5 -28,3 -28,3 -17,9 -26,6

SEAS2t1 62,2 100,0 6,4 -1,3 3,7 -20,0 -4,7

GA1t_i 57,5 6,4 100,0 13,0 -35,5 -25,7 -34,0

D1 -28,3 -1,3 13,0 100,0 -3,5 -16,8 -28,9

Addec12t2 -28,3 3,7 -35,5 -3,5 100,0 43,0 28,1

Compl + Comp2 -17,9 -20,0 -25,7 -16,8 43,0 100,0 77,5

PRICEcomPt -26,6 -4,7 -34,0 -28,9 28,1 77,5 100,0

Выделены корреляции между объясняющими переменными каждого из уравнений.

Четвертый шаг: спецификация системы уравнений

На четвертом шаге, когда финальный набор переменных в модели NA (1) уже определен, они включаются в уравнение в порядке значимости, основанной на «экономическом смысле» факторов, формирующих эти переменные. Например, известно, что цена - ключевой, основополагающий параметр, определяющий и бизнес-показатели, и потребительский выбор. Поэтому переменная PRICE включается в первую очередь, а, например, группы переменных, отражающих воздействие конкурентов, -в последнюю. Порядок включения может влиять на выбор величины фактора «переноса» для экзогенной переменной, так как его значение приводится в соответствие остаткам уравнения. Переменные включались в уравнение в разном порядке, в итоге была получена спецификация, удовлетворяющая не только статистическим тестам, но целям исследования.

После финальной коррекции на четвертом этапе в уравнения, составляющие модель NA, вошли следующие переменные:

(5)

GA! — a о + a j • Addec; + a 4 • Addec4 + b 0 • Sddec ; + bj • Sddec; + +b2 • Sddecl + j0 • PRICEtj + gj • Seasj + ej,

2 • Addect ; + fj ; •Addec ;j j 4 • Addectj + j 2 j • Addeca +

+f j22 • Addec 2 + ф 23 • Addec2 + yj • PRICEj + y2 • PRICE2 + +g 2 • Seas 2 + vj • GAJ+ e2, t — J ,2....30.

После применения МГК к переменным Sddec и PRICE в уравнении GA и к затратам на рекламу конкурентов (Addec;4, Addec;2, Addec12 нении NS была оценена система (6):

2 1 Addec223, Addec222 ) в урав-

(6)

GAj — a0 +aj • AddecJ +a4 • Addec4 + b Pcm • PRICE_Sd_SALES + gj • SeasJ + +9J • D 1 + ej,

№Sj — ф 0 + ф 2 • Addec ¡J + ф ^ • (comp 1 + comp2) + y ^p • PRICE t°mp + +g2 • Seas2 + v1 • GA^ +62 • D2 + e2, t —1,2....30.

Таблица 8.

Описание объясняющих переменных, вошедших в систему (6)

Тип переменной Название В какое уравнение входит Примечание

Объясняемые переменные GA1t GA Подключения/Продажи предложений, направленные на первый сегмент

NS1t NS Переход в неактивное состояние/отток абонентов, пользующихся предложениями для сегмента 1

Сезонность SEAS1t1 GA Сезонность подключений/продаж предложений, направленных на первый сегмент

SEAS1t2 NS Сезонность перехода в неактивное состояние/отток абонентов, пользующихся предложениями для сегмента 1

PRICE_Sd_SALES Получено МГК Sddect1_Comp GA Sd компании А с учетом СF по отношению к Sd конкурентов

PRICE1t GA Средняя стоимость за минуту

Затраты Addec4t1 GA Затраты на коммуникацию 4 с СF

на рекламу компании А Addec1t1 GA Затраты на коммуникацию 1 с СF

Addec2t2 NS Затраты на коммуникацию 2

Лаговая переменная в уравнении NS GA1t-1 NS Подключения/Продажи предложений, направленные на первый сегмент в период t - 1

Окончание табл. 8.

Тип переменной Название В какое уравнение входит Примечание

Сотр1, Сотр2. Получено МГК, объединяет рекламные затраты конкурентов, оказавших значимое влияние Addec14t2 NS Затраты на коммуникацию 4 конкурента 1

Addecut2 NS Затраты на коммуникацию 1 конкурента 1

Addec21t2 NS Затраты на коммуникацию 1 конкурента 2

Addec23t2 NS Затраты на коммуникацию 3 конкурента 2

Addec22t2 NS Затраты на коммуникацию 2 конкурента 2

Цена услуг конкурентов PRICEcomPt NS Средняя стоимость услуг конкурентов, предназначенных для представителей первого сегмента. Средняя цена за минуту каждого взвешена на его долю в общем количестве клиентов конкурентов 1 и 2

Корректировка выбросов D1 GA Корректировка выбросов в уравнении СА

D2 NS Корректировка выбросов в уравнении N8

Поскольку анализируемые данные являются временными рядами, объясняющие и объясняемые переменные проходят проверку на стационарность. При работе с реальными данными, относящимися к сфере маркетинга и рекламы, часто возникают ситуации, когда можно «подозревать» ту или иную переменную в нестационарности, но зачастую она связана с наличием «выбросов» или ошибками измерений. Особенностям подобных данных в контексте анализа временных рядов автор планирует посвятить отдельную работу. В данном примере применение ADF-теста к остаткам системы 6 подтвердило стационарность (табл. 9).

Таблица 9.

Описательные статистики остатков

RESID01 RESID02

Среднее -0,001 -0,0004

Медиана 0,0208 0,0188

Максимум 0,2192 0,2461

Минимум -0,2306 -0,2606

Стандартное отклонение 0,1111 0,1307

Асимметрия -0,1562 -0,0413

Куртозис 2,4834 2,4056

Статистика Jarque - Вега 0,4404 0,4351

Р-значение 0,8023 0,8045

Сумма -0,028 -0,0119

Сумма квадратов отклонений 0,346 0,478

Наблюдений 29 29

Проверка на стационарность ADF-тест Нет экзогенных переменных, без константы и тренда

Р-значение (одностороннее, MacKinnon, 1996) 0,0002 0,0000

t-статистика -4,165 -5,968

Критическое значение 1% -2,653 -2,650

Результаты

В таблице 10 представлены полученные оценки системы уравнений (6). В уравнение, описывающее продажи (GA1Í), вошли следующие факторы: сезонность (увеличение в летние месяцы); цена; вознаграждение продавцам; коммуникации компании А первого и четвертого типов. В уравнение для оттока () вошли сезонность (увеличение оттока в феврале и ноябре, снижение в декабре); подключения в период t - 1; коммуникации компании А первого и второго типов (с отрицательным знаком); рекламная активность конкурентов (с положительным знаком) и стоимость услуг конкурентов (с отрицательным знаком).

Таблица 10.

Оценка коэффициентов системы

Метод оценки: Система одновременных внешне не связанных линейных уравнений - Seemingly Unrelated Regression. Всего наблюдений в системе 59.

Коэффициент Стандартная ошибка t-статистика Р-значение

a 0 0,629 0,053 11,789 0,000

gt 0,400 0,049 8,127 0,000

a 4 0,002 0,001 4,004 0,000

a 0,003 0,000 6,641 0,000

b1 г pcm 0,295 0,023 13,069 0,000

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

е1 0,609 0,064 9,472 0,000

Ф 0 1,627 0,263 6,180 0,000

g 2 0,410 0,035 11,881 0,000

n1 0,520 0,072 7,208 0,000

ф 2 -0,003 0,001 -3,763 0,001

y comp -1,224 0,218 -5,614 0,000

ф pcm 0,127 0,024 5,245 0,000

е2 -0,820 0,110 -7,447 0,000

Уравнение:

GA] = g jSEASij + a l4Addecfl + a\Addecltl + ft1 PRICE _ SD _ SALES + + 91D1 + a 0

Наблюдений: 30

R-квадрат 0,906 Математическое ожидание

зависимой переменной 1,109

Приведенный R-квадрат 0,887 Стандартное отклонение

зависимой переменной 0,314

Окончание табл. 10.

Стандартная ошибка 0,105 Сумма кв. остатков 0,267

Дарбин - Уотсон 2,281

Уравнение:

Ш] = у 2 SEAS12 + V 1вА]_1 + Ф 2 ADDEC22 + у 1 РШСЕ?™" + ф1 (Сотр1+Сотр2)+ 92 D2 + ф 0

Наблюдений: 29

R-квадрат 0,911 Математическое ожидание зависимой переменной 0,857

Приведенный R-квадрат 0,886 Стандартное отклонение зависимой переменной 0,359

Стандартная ошибка 0,121 Сумма кв. остатков 0,322

Дарбин - Уотсон 2,264

Таблица 11.

Ковариационная и корреляционная матрицы остатков

1. Ковариационная

ОА] ш]

ОА] 1 0,251

ш] 0,251 1

2. Корреляционная

ОА] ш]

ОА] 0,009 0,003

Ш] 0,003 0,011

Стоит напомнить, что модель NA была построена для выполнения первого этапа работ по решению главной задачи - установления и распределения рекламного бюджета, обеспечивающего максимальный результат при минимально возможных затратах. Для того чтобы подготовить необходимую базу для второго этапа - планирования активности в следующие периоды, все факторы удобно разделить на две группы - стимулирующие продажи (или привлечение новых клиентов) и удерживающие уже привлеченных. Стимулирование и удержание - часто используемые понятия при определении цели рекламной кампании, и именно в подобных терминах часто ставится задача рекламным агентствам. Между тем понять, какие коммуникации на

самом деле в большей степени способны достичь указанных целей, бывает совсем не просто, и именно эту проблему позволяет решить предлагаемый подход. Оценка специфики воздействия каждой кампании очень важно не только для распределения рекламного бюджета в будущем, но и для понимания причин, почему та или иная коммуникация не оправдала ожиданий или способствовала перевыполнению планов.

Для компании А основная коммуникация, направленная на сегмент 1, играет двойную роль в отношении поддержания прироста базы клиентов. С одной стороны, она работает на привлечение новых абонентов, но также приводит к тому, что растет отток (к счастью, в меньшей степени). Такая же ситуация наблюдается в случае коммуникации четвертого типа и дилерского вознаграждения. Наличие положительного базового уровня в уравнении NS свидетельствует, что существует постоянный отток клиентов, не обусловленный ни одним из анализируемых факторов, но отражающий недовольство качеством услуг, снижение лояльности в отношении марки, нарушение эмоциональной связи. Положительный вклад рекламы компенсирует потери, вызванные недостаточной проработкой других аспектов продвижения услуг компании А. Однако не стоит игнорировать тот факт, что стабильный отток может быть причиной недостаточно эффективной рекламы в прошлых периодах, не вошедших в модель. К сожалению, исторические данные за 30 месяцев не позволяют оценить долгосрочные аспекты влияния коммуникационного воздействия. Пока можно констатировать, что существенная часть вновь привлеченных абонентов не останется долго в числе клиентов и достаточно быстро воспользуются услугами конкурентов.

Ответ на вопрос о воздействии цены также неоднозначен - с одной стороны, чем ниже собственная цена, тем больше можно продать - существенное воздействие на привлечение. Но цена на услуги конкурентов очень сильно и отрицательно влияет на отток, таким образом, важнее, как выглядит предложение марки по сравнению со стоимостью аналогичных услуг у конкурентов. Фактор, объединяющий Sd и PRICE компании А, входит в систему (6) положительно, но, используя коэффициенты перехода МГК, указанные в табл. 4, получается, что влияние цены на продажи негативно, а затрат на поддержку дилеров - положительно.

Собственная кампания рекламодателя А, способствующая удержанию клиентов, направлена на сегмент 2. Несмотря на то, что она не была обращена к представителям сегмента 1, эта коммуникация сократила падение абонентской базы. Ситуация, когда «непрофильная» активность играет такую значительную роль, возникает по ряду причин: в частности, так может случиться, если позиционирование носит формальный характер, или когда потребительские свойства продукта способны удовлетворить потребности представителей не одного сегмента. Кроме того, если предлагается что-то действительно новое и представитель другого сегмента готов реагировать, просто привлеченный разнообразием (и конечно, если новое предложение очень выгодно по цене). В данном случае сыграли роль обе причины. Первые предложения для сегмента 2 были новаторскими, потом появились очень выгодные с точки зрения цены. А потом, действительно, позиционирование выражалось только в коммуникации, а по потребительским свойствам предлагаемые услуги вполне подходили и для сегмента 1.

В ходе исследования стало понятно, что реклама конкурентов для представителей сегмента 1 скорее побуждает изменять поставщика телекоммуникационных услуг, негативно воздействуя на «удержание», нежели на «привлечение». То есть в большей степени сокращает более «лояльную» часть клиентов кампании А.

Разница между продажами и оттоком представляет собой основной показатель развития - прирост числа клиентов. Коэффициенты, указанные в табл. 10, содержа-

тельно интерпретируются, восстановленные вклады факторов после применения метода главных компонент имеют смысл. На рис. 3 отражен вклад каждой переменной, выраженный в индексе, пропорциональном количеству привлеченных клиентов компании А.

Sd конкурентов -5% |

Sd ШШ|29%

Затараты на рекламу конкурента 2 -11% Щ

Затраты на рекламу конкурента 1 -5% |

Затраты на рекламу сегмента (Addec2t1) | 5%

Затраты на рекламу типа 4 (Addec4t1) ¡3%

Затраты на рекламу сегмента (Addec1t1) Ш 12%

Цена конкурентов 'ШШШШШШШк 100%

Собственная цена -27% ШШ

Базовый уровень-81 % ШШШШШШ

Индекс прироста числа клиентов

Рис. 3. Вклады факторов

Негативный базовый уровень показывает, что в целом рост клиентской базы компании А будет иметь тенденцию к сокращению, если прекратится поддержка. Это связано с насыщением рынка и агрессивностью других игроков, с необходимостью повышения конкурентоспособности услуг и эффективности коммуникации компании А.

Тревожным сигналом является негативный вклад рекламного воздействия конкурентов, который превышает вклад собственной активности. Большая роль инвестиций в поддержание продукции компании А в местах продаж отражает значительную роль этого рода затрат в продвижении услуг компании А. Результаты модели также позволяют рассчитать, какое снижение относительной цены следует произвести компании А, если эффективность остальных рычагов воздействия на количество клиентов не изменится.

Наиболее важные коммуникации для роста числа клиентов - коммуникации, направленные на сегмент 1 и сегмент 2. Коммуникация четвертого типа, поддерживающая имидж, повлияла значительно слабее.

Напомним, что основная цель описанного подхода - это определение эффективности коммуникации для последующего планирования кампаний, подготовка базы для принятия решения, в какие каналы лучше инвестировать, чтобы достигать поставленных целей.

Проведенный анализ на примере компании А дает возможность численно оценить воздействие собственной рекламы и прочих, не менее важных факторов, позволяет перейти к планированию кампаний таким образом, чтобы отдача от инвестиций в каждый тип коммуникации, выраженная в приросте абонентской базы, была максимальной. Подход позволяет получить содержательные результаты на относительно небольшой выборке, изучить влияние многих факторов, не повышая размерность, вычислить важную характеристику воздействия коммуникации - фактор «переноса».

С практической точки зрения результаты позволяют решить три задачи. Во-первых, создается необходимая база для эффективного планирования рекламной кампании и других стимулирующих мероприятий, например выплат дилерам. Во-вторых, появляется возможность построения различных сценариев поведения компании в зависимости от предполагаемых действий конкурентов, назначения разного уровня цен на услуги и объема инвестиций в поддержку присутствия продукции компании А в местах продаж. В-третьих, оценивается эффект отдельной кампании -работает ли она на «удержание» или «привлечение», на какой сегмент она действует сильнее?

Изучение воздействия коммуникационной активности на бизнес-показатели позволяет планировать будущие кампании, учитывать опыт прошлых. Стратегические и тактические решения становятся более обоснованными, рычаги воздействия используются точнее, что приводит к достижению целей при более низких издержках компании на маркетинговые инициативы.

* * *

СПИСОК ЛИТЕРАТУРЫ

1. Берндт Э. Практика эконометрики: классика и современность. М.: Юнити-Дана, 200S.

2. Трутнева Е. Роль трекинговых исследований в планировании коммуникации: основные особенности и область применения: Сборник статей аспирантов 2007. Вып. 1. М.: Изд. дом ГУ ВШЭ, 200B.

3. Aitken L., Young A. Measuring Marketing Communications: Concentrate on Outcomes, Not Outputs. Market Leader, 2007.

4. Bernard N. What Can You Do With Tracking Studies and What Are Their Limitations? II Admap. 1SS0. April.

5. Bagwell K. The Economic Analysis of Advertising 11 Handbook of Industrial Organization. 2007. Vol. 3. P. 1701-1B44.

6. Binet L, Field P. The Conflict between Accountability and Effectiveness 11 Admap. 2OO7. Vol. 4B4.

7. Butch R, Bennet R. The Relationship between Brand Usage and Advertising Tracking Measurements: International Findings II Journal of Advertising Research. 1SS7. MarchIApril.

B. Campbell M. Is ROI Dead? II Admap. 200S. Vol. 4SS. March.

S. Colley R. Defining Advertising Goals for Measured Advertising Results. N.Y.: Association for National Advertisers, 1S61.

10. Dube J.-P., Hitsch G.J., Manchanda P. An Empirical Model of Advertising Dynamics. Erasmus Research Institute of Management (ERIM), December, 2004.

11. Dyson P. Setting the Communications Budget // Admap. 2002. № 433. November.

12. Dyson P., Weaver K. Advertising's Greatest Hits: Profitability and Brand Value // Admap. 2007. Vol. 469. February.

13. Farr A. Managing Advertising as an Investment // Admap. 2004. July.

14. Franses Ph. H., Vriens M. Advertising Effects on Awareness, Consideration and Brand Choice Using Tracking Data / Erasmus Research Institute of Management (ERIM). Report Series Research in Management. April 2004.

15. Green A. Should I Target Profits, Sales or Awareness? Does it Matter? // WARC Media FAQ. June 2006.

16. Johns J. How Advertising Works. The Role of Research. Sage Publications, 1998.

17. Hall B. A New Model for Measuring Advertising Effectiveness // Journal of Advertising Research. 2002. Vol. 42. № 2. March/April.

18. Heath R. Can Tracking Studies Tell Lies? // International Journal of Advertising. 1999. Vol. 18. № 2.

19. Herlin K. Optimizing TV Investment by Using Tracking Systems: How to Maximize Results Via Benchmarking, Scenario Planning and Research Management // Advertising Research Foundation Workshop. October 2001.

20. Hollis N. Like it Or Not, Liking Is Not Enough // Journal of Advertising Research. 1995. May.

21. Rice J., Hafneys J. Segmentation Using Conversion Theory: How to Market Financial Services in a Competitive Market / / Admap. 1990. June.

22. Ruffle A. ROI: A Passing Fad Or Enduring Trend? // Admap. 2007. February.

23. Smith A. How Campaign Tracking Studies & Econometric Modeling Can Undervalue Advertising Benefits // International Journal of Advertising. 1999. Vol. 18. № 2.

24. Vallance C. Orange: How Two Years of Advertising Created Twelve Years of Value. IPA Effectiveness Awards, 1996.

25. Wooller E. Making Marketing Sing for its Supper // Admap. 2006. July/August.

i Надоели баннеры? Вы всегда можете отключить рекламу.