Экс-диджитал-директор SberDevices Никита Кривцов рассказывает, как за три шага точно измерить вклад каждой кампании в общий эффект маркетинга и построить модель идеального рекламного сплита.
27 марта 2023
Как объективно измерить эффект маркетинга с помощью эконометрики. Колонка экс-диджитал-директора SberDevices
Меня зовут Никита Кривцов, занимаюсь маркетингом в диджитале больше восьми лет. В моей практике самые острые вопросы всегда были связаны с измерением эффективности маркетинга. Я убедился, что эту проблему невозможно решить с помощью моделей атрибуции, зато вполне реально — с эконометрикой. В этой статье расскажу, как за три шага точно измерить вклад каждой кампании в общий эффект маркетинга и построить модель идеального рекламного сплита.
Почему модели атрибуции — спекуляция. Три аргумента
Было время, когда я считал диджитальное атрибуционное моделирование многообещающим методом. Где бы ни работал, факты рекламных показов мы связывали с реальными покупками, учитывали многие источники в пути до конверсии и накапливали клиентские данные.
Но чем больше я этим занимался, тем больше убеждался: атрибуционное моделирование и так называемая сквозная аналитика — это спекуляция. Часть конверсий, которые раньше считались органическими, приписывалась платным источникам, а общее число покупок не росло. Проблема — в трех главных недостатках моделей атрибуции:
1. Выборочно завышается эффективность маркетинговых инструментов
Допустим, компания размещает контекстную рекламу по брендовым запросам и получает много заявок. Знание о бренде или его продукте сформировано явно не контекстом. Желание найти и купить возникло до того, как пользователь открыл поисковик, а откуда оно взялось — неизвестно. Но вся ценность маркетинговых усилий присваивается контекстной рекламе — кажется, что маркетинговый бюджет нужно тратить на нее.
Будь то атрибуция по последнему клику или последнему увиденному номеру телефона в случае коллтрекинга — суть не меняется. Это всего лишь последний источник, а не самый значимый.
Можно возразить, что, помимо last click или first click, есть более сбалансированные модели. Но как мы узнаем, что они точнее отражают реальность?
2. Нет объективного принципа для выбора модели атрибуции
Допустим, перед покупкой человек увидел нашу рекламу в четырех разных каналах. Как мы установим, что первый оказался важнее второго, а последний — первого? Правила нет. А значит, непонятно, по какому принципу выбирать модель атрибуции.
Иногда значимость рекламных каналов распределяется по убыванию, нарастанию или же равномерно по цепочке взаимодействия с пользователем. Есть и кастомные модели, где вы сами задаете вес канала в зависимости от его типа: баннерная реклама, видео, контекст. И вершина эволюции — умные автоматические алгоритмы, как у Google, например. Они сами присваивают вес рекламному каналу с учетом пользовательских паттернов, типа конверсий и так далее. Но это черный ящик, который выдаст примерно следующее: «Уважаемый клиент, я, Google, посчитал, что самые ценные для тебя каналы — email и YouTube (ну, а то!). Почему — не спрашивай: ты не поймешь, а я не расскажу».
Справедливости ради отмечу: вы можете строить модели сами, используя, например, цепи Маркова. Обычно для этого нанимают на постоянную работу дорогого специалиста (а может, и не одного). Так вы полностью контролируете честность подсчетов, но все равно не получите полную картину эффективности маркетинга. Почему — в следующем пункте.
3. Сквозная аналитика на основе модели атрибуции игнорирует слишком много важных факторов продаж
Сквозная аналитика не учитывает долгосрочное влияние знания, офлайн-медиа, скидки, сезона, действий конкурентов и изменения в качестве самого продукта. То есть видны только те данные, которые легко измеримы. В основном из диджитала. Редко бывает доступна малая часть офлайна: благодаря коллтрекингу, промокодам вычисляется источник конверсии. Но, опять же, либо источник только один, либо среди нескольких невозможно выяснить реальную ценность каждого.
Чем заменить модели атрибуции
Чтобы измерять эффективность маркетинговых форматов, есть методы понадежнее моделей атрибуции. Один из них — эконометрика. Она описывает экономические процессы с помощью математических моделей. Такую же модель можно построить для маркетинга, чтобы точно знать эффективность маркетинговых каналов и осмысленно распределять между ними бюджеты.
Эконометрика помогает выяснить:
- какая доля дополнительных продаж получена благодаря каждой маркетинговой кампании;
- как вычислить вклад отдельных медиа в общую эффективность маркетинга;
- как медиа взаимно влияют друг на друга.
Если коротко, методика эконометрического исследования такая:
- Собрать все факторы продаж и посчитать, во что они нам обходятся.
- Оценить бизнес-результат (продажи) и сопоставить с затратами.
- Подсчитать эффективность каждого маркетингового канала и построить эконометрическую модель. С этим лучше всего справится специализированное агентство.
А теперь подробнее о каждом этапе.
Шаг 1. Собрать все факторы продаж и посчитать, во что они нам обходятся
На бизнес-результат влияют действия компаний:
- маркетинговые активности,
- изменения продукта,
- дистрибуция.
А также глобальные факторы:
- сезонность,
- экономическая ситуация,
- «черные лебеди» — редкие непрогнозируемые события со значительными последствиями.
Когда эконометристы строят модель для маркетинга, они делают поправку на сезонность и экономические тренды. Агентства собирают данные по рынку, прогнозируют эти факторы и знают, как правильно учесть их влияние на продажи. «Черного лебедя», конечно, предсказать не получится. Но если даже Центральный банк сильно ошибался в своих прогнозах, то нам простительно.
Чтобы понять, откуда приходят продажи, полезно собрать в Google-таблице все факторы, кроме глобальных. А рядом — во что они обошлись бизнесу. Сделать это непросто — помимо маркетинга придется напрячь отдел коммерции, чтобы они поставляли данные. Но оно того стоит.
Еженедельно записывайте стоимость каждого фактора в деньгах. Во-первых, для бизнеса это самый понятный эквивалент, а во-вторых, важно унифицировать данные, чтобы их можно было сравнивать. Суммы вносите в таблицу. В случае с рекламой это сделать просто. Остальные факторы, например негативные отзывы или изменения в продукте, измерить в деньгах сложнее, но все-таки возможно. Ниже поясню как.
Данные о расходах на медийную рекламу с ключевыми показателями эффективности — просмотрами и охватом. Чтобы было удобнее сопоставлять, лучше собрать всё в одной таблице
Маркетинг
Акции, скидки, другие ценовые условия. Чтобы выразить в деньгах скидку, нужно знать ее размер и количество товаров либо услуг, проданных по сниженной цене.
Скидка может быть составной. Например, половину компенсируете вы, а половину — партнер (ритейлер или партнерский бренд). Тогда рекомендую собирать данные по своей части скидки и партнерской. Так будет видна стоимость и ROI именно ваших инвестиций в акцию. А в дальнейшем будет проще планировать скидку с партнером и самостоятельно.
Если суть акции не в скидке, а в подарке, может возникнуть вопрос: какую стоимость учитывать в качестве инвестиции? Например, вы дарите мышку к ноутбуку. Партию мышек вы приобрели по 100 рублей за штуку, а в розницу они продаются по 500 рублей. То есть выгода для покупателя значительно больше, чем себестоимость для вас. В таком случае в качестве инвестиций рекомендую считать именно себестоимость. Так в будущем будет сохраняться логика принятия решения о трате маркетингового бюджета. Например, вы будете понимать, что мышка за 100 рублей увеличивает вам продажи с 1000 штук в неделю до 1100 штук. Бюджет акции составит: 100 ₽ × 1100 штук = 110 000 ₽. Тогда можно сравнить, будет ли так же эффективен этот бюджет, если потратить его не на акцию, а, к примеру, на рекламу в VK. Возможно, реклама за эти деньги принесет больше ста дополнительных продаж в неделю. То есть она значит для пользователя больше, чем мышка, которую он оценивает в 500 рублей.
Рекламная активность. Медийную активность разделяйте по типам медиа: онлайн-видео (OLV), наружная реклама (OOH), телевизионная и другие. Внутри типов конкретизируйте форматы, если важно понять, как отработали именно они. Например, наружную рекламу можно разделить на цифровую и печатную.
Для PR-публикаций следует указывать стоимость и единый показатель качества: например медиаиндекс, охват, цитирование — то, что считаете самым ценным для вас.
Органические публикации с упоминанием бренда. К ним относятся скандальные обвинения и разбирательства вроде объявлений о санкциях, исках, штрафах. Отмечайте количество упоминаний и единый показатель качества (медиаиндекс, охват, цитирование), как в случае с собственными PR-публикациями.
Негативный органический PR вы не сможете точно оценить в деньгах. Поэтому, скорее всего, эконометристы сделают допущение и посчитают условную сумму по средней цене вашего собственного PR, но со знаком минус. Это нужно, чтобы наглядно показать, сколько денег смогут компенсировать такой провал.
Медийные активности конкурентов. Их посчитает маркетинговое агентство: проведет для вас конкурентный анализ медийной рекламы и сообщит, сколько она стоила каждому рекламодателю. Эти факторы тоже должны быть учтены в общей таблице и графиках, но со знаком минус — из-за отрицательного влияния на ваши результаты.
Отзывы. Рекомендую учитывать количество негативных и позитивных отзывов отдельно. Эконометристы определят, какой показатель важнее для вашего бизнеса: абсолютное число негативных отзывов или их доля в общем количестве.
Если абсолютное число приоритетнее, то отзывы можно будет выразить в деньгах. Например, как если бы мы каждому недовольному вернули деньги.
Если важна доля негативных отзывов, помечайте, сколько стоит поддерживать ее на приемлемом уровне. Допустим, компания покупает отзывы в сторах для мобильного приложения (только не делайте так). Тогда ей легко сосчитать деньги на поддержание целевой средней оценки. В другой ситуации логика этих бюджетов будет такая: если я потрачу деньги и исправлю отзывы, то изменю результат по продажам вот настолько. А если продолжу экономить, то буду столько же терять.
Продукт
Качественные изменения. Учитывайте их, даже если кажется, что они не влияют на продажи. На самом деле они могут сыграть как положительную, так и отрицательную роль. Изменения можно по-разному оценивать в деньгах. Например, если вы начали продавать ноутбуки сразу с удобным кейсом для переноски, можно указать в таблице его себестоимость. Если же ваш основной продукт — приложение или сайт, то обновление его интерфейса или ребрендинг можете выразить в человеко-часах — на случай, если в будущем захотите повторить. А можете просто отметить этот период в таблице, чтобы потом были понятны колебания продаж в это время без видимых на то маркетинговых причин.
Значимые улучшения продуктов конкурентов или выход новых. Достаточно отметить периоды, как и в предыдущем пункте.
Проблемы клиентского сервиса. Сюда относим все, что мешает пользователям приобретать продукт или услугу. Например, падение серверов, из-за которого не работает интернет-магазин, массовая ошибка при онлайн-оплате или перебои в логистике. Постарайтесь оценить, сколько продаж вы потеряли во время сбоя. Если не можете более или менее точно посчитать в штуках, хотя бы отметьте периоды таких сбоев. Их влияние потом можно будет оценить, исключив все остальные факторы продаж.
Возвраты, гарантийный ремонт и обращения в техподдержку. Еженедельные затраты на эти факторы помогут оценить качество продукта и подсветить нюансы, о которых вы забыли или даже не знали.
Дистрибуция
Размер сети дистрибуции, региональной представленности, стоков. По сути, это не маркетинговая инвестиция, но характеристика емкости рынка для вас. В зависимости от того, в скольких магазинах или регионах вы продаете продукт, маркетинговая поддержка даст разный прирост продаж.
Представьте, что во время рекламного флайта какое-то количество людей придет в магазин за вашим товаром. Часть сможет его купить, а другая — нет, потому что сток закончился. Вы решите, что маркетинговый формат был неэффективен. Хотя при достаточной емкости стоков вы бы получили больший прирост продаж и инвестиции окупились бы.
Изменения в работе персонала или в работе с каналом продаж. Например, вы решили сэкономить и договорились с ритейл-сетью снизить денежную мотивацию для продавцов-консультантов. А они начали рекомендовать конкурента. Или наоборот: вы лишь немного усилили мотивацию, но она оказалась самой выгодной для продавцов в этой категории. Тогда, вероятно, вас будут рекомендовать гораздо чаще, чем конкурентов. В любом случае зафиксируйте сумму, которую вы урезали или добавили.
После сбора данных получаем таблицу со всеми факторами продаж и их денежным эффектом. Несколько листов с данными за квартал для примера:
Полную версию таблицы со всеми факторами продаж можно использовать как шаблон
Из таблицы видно, в какую сумму обошелся нашему бюджету каждый фактор. Перенесем данные на график, если схематично, он будет выглядеть примерно так:
Положительное значение — у инвестиций в позитивные факторы продаж, например нашу медийную активность. Отрицательное — у затрат на компенсацию негативных факторов, например активности конкурентов
Шаг 2. Подсчитать бизнес-результат (продажи) и сопоставить с затратами
К примеру, наш бизнес-результат — B2C-продажи. Если собрать данные по продажам и совместить с графиком трат, получим примерно такое:
Зависимость продаж от инвестиций в маркетинг очевидна. Но визуально нельзя определить, какие маркетинговые активности оказались наиболее эффективными
Обратите внимание, что факторы мы собирали по группам, а продажи просто суммировали. Для упрощенного выполнения задачи это нормально, но в реальном исследовании лучше разделять продажи. Не все они равноценны для бизнеса: маржинальность отличается в зависимости от канала или региона продаж. Сгруппируйте продажи по ключевому для вашего бизнеса признаку. Тогда вы поймете, у какой группы самая высокая маржинальность, и сможете направлять на нее усилия маркетинга.
Разделение данных по продажам в зависимости от региона. Таблица целиком
Вот несколько примеров, как типизировать продажи. Можете выбрать подходящий вам или вывести свой признак для типизации.
Пример 1. Сторонняя сеть продаж
Если вы продаете FMCG-товары, технику или электронику, то знаете, что у каждого канала продаж своя комиссия. И вам выгоднее проводить маркетинговые активности так, чтобы росла доля продаж в канале с низкой комиссией. В таком случае лучше разделять продажи в зависимости от сети.
Пример 2. Собственная сеть продаж
Оформить кредит в онлайне дешевле, чем в отделении. Один выданный в офлайне кредит можно грубо оценить как потраченное время сотрудника. А сократить такие операции в несколько раз — это все равно что полностью закрыть часть отделений. Поэтому важно понимать, как продвигать онлайн-каналы, а как офлайн. Чтобы на этот вопрос ответила эконометрическая модель, нужно соответственно разделить продажи.
Пример 3. Общая региональность
Регионы отличаются по платежеспособности, доступности интернета и другим факторам. Поэтому клиенты там предпочитают разные модели из линейки продуктов и по-разному монетизируются со временем. Пользователь онлайн-сервиса из Москвы будет чаще докупать опции, платный контент, чем пользователь из региона. А житель небольшого города с маленькой квартирой купит телевизор с меньшей диагональю.
Теперь о том, как сопоставить продажи с затратами. Допустим, мы разделили продажи на четыре типа по регионам. Наложим их на те маркетинговые факторы, которые уже собрали. Получится примерно следующее:
Теперь кривые продаж могут не совпадать с пиками маркетинговых активностей. Это доказывает, что на каждый тип продаж разные факторы влияют по-своему. Но по разным графикам стало еще сложнее оценить эффект маркетинга, а тем более выделить вклад каждого медиа. Тут нужен математический инструмент.
Шаг 3. Подсчитать эффективность каждого маркетингового канала и построить эконометрическую модель
Эконометрика помогает построить маркетинговую модель зависимости продаж от факторов. Она будет отражать эффективность всех каналов и подскажет, как распределять между ними бюджет.
Постараюсь объяснить, как это работает, но расчеты лучше поручить специалистам: медийному или исследовательскому агентству. Это относительно недорого и гораздо дешевле той ошибки, которую можно допустить при планировании бюджета на год.
В эконометрике мы предполагаем, что у каждого собранного фактора есть конкретный, не меняющийся уровень влияния. То есть если сегодня ТВ-реклама за миллион рублей приносит тысячу продаж в неделю, то и завтра будет приносить столько же за те же деньги. Если мы запустили ТВ-рекламу на тот же миллион, а продажи выросли не на тысячу, значит, вмешался другой фактор. Например, активность конкурента или сезонность.
Таким образом, продажи — это функция всех перечисленных факторов, в том числе маркетинговых активностей, с их постоянными коэффициентами влияния. Формула:
Формула выражает следующее: все продажи равны сумме факторов, умноженных на коэффициент их влияния, с учетом сезонности. Сезонность индивидуальна для каждого типа бизнеса. У хорошего специализированного агентства есть готовые модели сезонности, основанные на данных многих рекламодателей вашей категории.
Приведу упрощенный пример. Допустим, продажи в первую неделю составили 1000 штук. В этот момент влияли пять факторов: ТВ, диджитал, PR, активность конкурента и скидка. На второй неделе продажи составили 800 штук. За исключением скидки факторы были те же и влияли в таком же объеме. Отсюда понятно, что скидка приносит 200 дополнительных продаж в неделю, то есть 20% — это и есть коэффициент влияния. Так поочередно определяется коэффициент для всех пяти факторов: ищем любую другую неделю, где не было только одного из них, и сравниваем продажи.
Когда найдем коэффициенты влияния для всех факторов, пробуем подставить их в формулу и рассчитать продажи в прошлом. Строим график зависимости продаж от бюджета по времени. Если мы верно определили вклад каждого фактора, наш график сойдется с реальным. Если же нет, нужно корректировать коэффициент влияния факторов. И так до тех пор, пока наш расчетный график не совпадает с реальным достаточно близко. Это будет означать, что мы вывели модель влияния маркетинга на продажи.
Чем больший период взять для анализа, тем больше разных комбинаций факторов получит модель. А значит, коэффициенты будут выведены точнее и модель будет лучше предсказывать будущее. Стандартный период для подробной и качественной оценки — 3 года в еженедельной разбивке, то есть 159 точек для замера. По минимальному количеству точек специалисты не сходятся во мнении. Некоторые считают, что можно начать с 24, но я бы рекомендовал минимум 36. В одном из своих проектов я подавал на расчет 44 точки, то есть данные по 11 месяцам. Модель, построенная на этих данных, хорошо отработала на практике.
Итак, мы узнали долю влияния каждого фактора на продажи и на выходе получили вот что:
Обобщенный результат эконометрического исследования — цифры абстрактные, для примера. Обычно агентство предоставляет еще слайдов 100 с разными разрезами данных
Зная отдельный вклад всех медиа или форматов, можно подсчитать реальный ROMI каждого инструмента и инкрементальный САС. Даже по тем медиа, которые раньше казались неизмеримыми. Также можно виртуально составить любую комбинацию маркетинговых активностей в будущем и посмотреть, как она повлияет на продажи.
Бонус: чек-лист для эконометрического анализа маркетинга
1. Выделите факторы, которые влияют на ваши продажи. Ниже приведен перечень — можете использовать его целиком или скорректировать под себя:
Маркетинг:
- акции, скидки, другие ценовые условия;
- рекламная активность (медиа, PR, перформанс);
- органические публикации с упоминанием бренда;
- медийные активности конкурентов;
- отзывы (положительные и отрицательные).
Продукт:
- качественные изменения;
- значимые улучшения продуктов конкурентов или выход новых;
- проблемы клиентского сервиса;
- возвраты, гарантийный ремонт и обращения в техподдержку.
Дистрибуция:
- размер сети дистрибуции, региональной представленности, стоков;
- изменения в работе персонала или в работе с каналом продаж.
2. Создайте таблицу для сбора данных в Google Sheets. Вообще подойдет любой формат, главное — чтобы было удобно собирать показатели по каждому фактору в отдельности в течение полугода или дольше.
3. Подсчитывайте, сколько денег затрачено на каждый фактор продаж. Договоритесь, чтобы отделы маркетинга и продаж еженедельно поставляли вам информацию о затратах. По медийной и PR-активности отмечайте не только расходы, но и важные для вас показатели, например медиаиндекс, охват, цитирование. Эконометристы учтут их при расчете модели.
4. Фиксируйте бизнес-результат. На отдельной странице таблицы собирайте статистику по продажам. Их можно подсчитывать поштучно или в виде выручки. При этом продажи лучше не суммировать, а разделять: например, по регионам, каналам (онлайн или офлайн) либо сетям. Сгруппируйте продажи по ключевому для вашего бизнеса признаку — тогда эконометрическая модель покажет, на какие из них следует направлять маркетинговые усилия.
5. Собирайте данные минимум 36 недель. Этого будет достаточно, но оптимальный период сбора данных — 159 недель. В этом случае модель получится максимально качественной и подробной.
6. Передайте таблицу эконометристам для расчета модели. Специализированное агентство вычислит долю влияния каждого фактора на продажи и передаст вам результаты в виде презентации. Опираясь на эти цифры, вы сможете составить эффективную комбинацию каналов.
