В статье Head of CRM Synergetic Станислав Черикчиев делится методикой массового тестирования гипотез: как их правильно формулировать и выбирать самые качественные для теста, что делать с гипотезами, которые не сработали.
22 марта 2024
Как генерировать маркетинговые гипотезы, проводить тесты и оценивать их эффективность
Как генерировать маркетинговые гипотезы, проводить тесты и оценивать их эффективность
Для роста бизнеса нужны идеи, но не каждая поможет ему развиваться. Поэтому идеи проверяют на жизнеспособность, тестируя гипотезы, построенные на их основе. Это помогает понять, на какой результат можно рассчитывать, если воплотить идею в жизнь.
Метод работает для идей любого масштаба — от смены цвета кнопки на сайте до создания нового продукта. Вместе с Head of CRM Synergetic Станиславом Черикчиевым расскажем, как правильно работать с гипотезами.
Почему важно работать с гипотезами
Гипотеза ― предположение о том, какое решение может принести определенный результат. Например, увеличить средний чек можно разными способами: предложить товар, дополняющий выбранный, или мотивировать купить больший объем товара за небольшую доплату, или дать скидку при покупке на определенную сумму. Пока неизвестно, какой из способов сработает, — это все гипотезы.
Гипотезы в маркетинге ищут и проверяют на всех этапах развития бизнеса — от создания минимально жизнеспособного продукта (MVP) до выхода компании на новые рынки. Это нужно, чтобы:
- оценить спрос на продукт;
- увеличить продажи;
- повысить лояльность клиентов;
- изучить эффективность маркетингового канала.
Перед внедрением все предположения проверяют с помощью экспериментов. Это помогает сэкономить время и бюджет, а также снизить риск неудачных решений.
Часто в маркетинге составляют список гипотез на квартал или полугодие, чтобы посмотреть, какие из них будут работать. Те, что сработали, масштабируют.
Сгенерировать жизнеспособную гипотезу
Гипотезы вырастают из идей. Идея, как правило, звучит довольно абстрактно. Гипотеза измерима. Она привязана к целям бизнеса и базируется на метриках.
Сравним:
Идея
Гипотеза
Конверсия в регистрацию вырастет, если сократить количество шагов в форме
Если сократить форму регистрации на один шаг, конверсия в регистрацию вырастет с 5% до 10%
Любую гипотезу можно построить за четыре шага:
1. Сформулировать цель ― определить, чего именно планируется достичь. Важно отметить, что цель — это еще не гипотеза. Возьмем для примера цель «увеличить конверсию на сайте».
2. Выбрать метрику, на которую нужно повлиять в рамках цели. Для этого сначала нужно проанализировать путь клиента.
Если цель — увеличить конверсию на сайте, можно работать с большим количеством метрик, потому что путь клиента от визита на сайт до покупки довольно сложный. Чтобы понять, где именно на этом пути искать точки роста, нужно нарисовать воронку:
Самая маленькая конверсия в этом примере ― из чекаута в заказ, поэтому она станет метрикой, которую нужно улучшить.
3. Определить, насколько можно улучшить эту метрику. На этом этапе нужно понять, насколько можно увеличить целевую метрику. Чтобы показатель был реалистичным, можно опираться на исследования, опыт предыдущих запусков, кейсы других компаний.
Предположим, что формулируя гипотезу, мы опирались на маркетинговые исследования, в которых средняя конверсия из чекаута в оформление заказа по индустрии в два раза выше. Значит, метрику можно увеличить с 5% до 10%.
4. Найти способы, как повлиять на выбранную метрику. Когда появилась четкая задача, нужно найти способы ее решить. Это можно сделать, опросив целевую аудиторию, опираясь на свой опыт или кейсы компаний из индустрии, или во время брейншторма с командой.
Предположим, мы отправили людям, которые были в чекауте и не оформили заказ, рассылку с опросом, что помешало им это сделать. Так мы выяснили, что клиентам неудобно вводить адрес доставки: данные приходится вбивать вручную, а не выбирать из списка, как на других сайтах.
5. Сформулировать гипотезу. В нашем примере она может звучать так: «если добавить подсказки в форму заказа, конверсия увеличится с 5% до 10%».
Влиять на метрику можно разными способами, каждый из которых может воздействовать на нее в большей или меньшей степени или с разной вероятностью. Поэтому на их основе можно сформулировать несколько предположений, чтобы потом было из чего выбрать.
Проверить, рабочей ли получилась гипотеза
Тестировать гипотезы ― долго и дорого, поэтому до этапа тестирования доходят только рабочие предположения. Вот четыре признака того, что гипотеза рабочая:
1. Результат можно измерить. Сложно измерить результат гипотезы «промокод лучше, чем кешбэк». Гораздо проще это сделать с предположением «конверсия в заказ у рассылки с промокодом выше, чем у рассылки с кешбэком».
2. Цель гипотезы достижима. Формулируя цель, нужно учитывать бюджет, данные аналитики и время, необходимое для эксперимента.
Представим ситуацию, когда нужно протестировать, какой баннер принесет больше лидов: со скидкой или с описанием продукта. Во-первых, достижимость цели оценили, основываясь на результатах предыдущих кампаний: баннеры со скидкой обычно приводили больше клиентов. Во-вторых, рассчитали, хватит ли ресурсов для запуска теста. Чтобы каждый баннер набрал нужное количество показов, потребуется не меньше одной-двух недель. Соответственно, нужно закладывать в план этот срок и бюджет на рекламу. Кроме того, для запуска теста понадобится дизайнер, аналитик и разработчик ― эти расходы тоже нужно заложить в бюджет.
3. Формулировка гипотезы содержит элемент, который тестируют, и метрику, которую нужно улучшить. Первая часть должна отвечать на вопрос «что нужно проверить?», вторая — на вопрос «какой результат планируется получить?». Например, «кнопка красного цвета увеличит количество кликов с 1000 до 2000».
4. На правильно сформулированную гипотезу можно ответить только «да» или «нет». Если нужно проверить эффективность баннера, предположение «оценить, какой баннер привлечет больше лидов» не подойдет — его будет сложно тестировать. Рабочая гипотеза будет такой: «баннер о скидке привлечет на 20% больше лидов, чем баннер с описанием продукта».
Выбрать гипотезу для тестирования
Одной гипотезы для развития бизнеса недостаточно. Чем больше предположений и экспериментов, тем больше инсайтов, которые могут помочь бизнесу вырасти. Но если собрать из них целую базу, придется выбирать, какие проверять в первую очередь.
Для приоритизации гипотез часто используют метод ICE, оценивая каждую по трем параметрам:
- Impact ― влияние. Насколько сильно механика повлияет на показатель, который планируется улучшить.
- Confidence ― уверенность. Насколько маркетолог уверен в том, что механика покажет прогнозируемый результат.
- Ease ― простота реализации. Сколько ресурсов понадобится для проверки.
Каждый параметр оценивают по шкале от 1 до 10, ориентируясь на опыт предыдущих запусков. Результаты перемножают, чтобы получить общую оценку:
Предположение, набравшее наибольшее количество баллов, считается самым значимым.
Оценим две гипотезы по ICE, чтобы посмотреть, как работает метод.
Impact
Confidence
Ease
ICE Score
Рассылка с кешбэком 3% покажет более высокую конверсию в заказ, чем с промокодом 10%
8
5
4
160
Имя клиента в теме письма покажет более высокий open rate, чем no name письма
5
4
9
180
Фаворита можно определить за пару минут. В этом примере в первую очередь стоит тестировать персонализацию писем.
Протестировать гипотезу
Когда все гипотезы оценили и приоритизировали, самое время их протестировать. Чаще всего тестирование гипотез в маркетинге проводят с помощью AB-теста:
1. Установить размер выборки ― количество людей, которым нужно показать каждый вариант, чтобы тест был достоверным. Это можно рассчитать вручную или в калькуляторе AB-тестов Mindbox. Он рассчитывает выборку по трем данным: количество тестируемых вариантов, размер старого показателя, процент улучшения. Нужно указать количество вариантов, средний показатель целевой метрики и ожидаемый абсолютный прирост. Дополнительно можно указать мощность и достоверность.
Мощность ― это вероятность обнаружить разницу, если она на самом деле есть. Обычно этот показатель принимают за 70–80%. Считается, что этого достаточно, чтобы быть уверенным в гипотезе, но не слишком много, чтобы тестирование стало чересчур сложным. Поэтому можно не рассчитывать мощность самостоятельно, а оставить в калькуляторе значение по умолчанию ― 80%.
Достоверность ― это вероятность, с которой результаты верны, если тест показал разницу. Его значение тоже можно оставить по умолчанию ― 95%.
Чем выше целевые показатели, тем больше должна быть выборка
Есть два типа ошибок, которые можно допустить: первого рода и второго.
Ошибка первого рода ― это когда мы отвергаем верную гипотезу. Например, вариант А действительно отработал лучше, но мы ошибочно считаем, что он не сработал. Это ошибка первого рода.
Ошибка второго рода ― это ситуация, когда мы принимаем неверную гипотезу. Например, у вариантов А и B нет различий, но мы ошибочно считаем, что вариант А лучше. Принимаем это предположение и внедряем в продукт какую-то фичу. Тратим много денег, времени, ресурса команды, а по факту оказывается, что эта фича не принесла значимой прибыли. Поэтому ошибка второго рода более опасна.
Достоверность — это вероятность не допустить ошибку первого рода. Грубо говоря, в 84 случаях из 100 мы поймем, что наше предположение подтвердилось на практике. И так будет, но в 84% из 100%. Это неплохой показатель, но лучше еще раз проверить, чтобы достоверность была минимум 90%. В калькуляторе Mindbox по умолчанию указана достоверность 95%, это значит, что в 95 случаях из 100 мы сделаем правильный вывод.
2. Провести тест ― показать оба варианта AB-теста нужному количеству людей. Обязательное правило: они должны отличаться только одним параметром. Если тестировать сразу цвет кнопки, текст на ней и картинку сверху, будет непонятно, какой элемент сработал.
AB-тестирование ― универсальный инструмент для проверки маркетинговых гипотез, но есть случаи, для которых он не подходит:
- Варианты почти не отличаются друг от друга. Например, тестирование ярко-зеленой и бледно-зеленой кнопки, скорее всего, покажет незначимую разницу.
- Слишком узкая целевая аудитория. Метод работает только на большой выборке: чем больше людей увидят оба варианта, тем больше вероятность, что результат тестирования покажет реальную картину. Если ориентироваться на узкую аудиторию, например, владельцев пуделей, которые живут на улице Ленина в Новосибирске, выборка будет недостаточной, чтобы AB-тест сработал.
- Мало времени. Чтобы показать оба варианта достаточному количеству людей, нужно не меньше двух недель, иначе результат тестирования будет некорректным.
Оценить эффективность гипотезы
Это тоже можно сделать в калькуляторе Mindbox. Он подводит итоги по количеству вариантов, числу конверсий, размеру выборки и выбирает победителя.
В Mindbox можно тестировать рассылки, элементы сайта, акции и алгоритмы рекомендаций
Когда данных недостаточно, чтобы воспользоваться калькулятором Mindbox, можно подвести итоги с помощью z-тестов. Чтобы провести такой тест, формулируют нулевую и альтернативную гипотезы. Нулевая гипотеза ― это обычно формулировка, в которой говорится, что в тестовой и контрольной группе данные отличаться не будут. А альтернативная утверждает, что разница между ними все-таки есть. После пересчета данных будет сразу видно, можно ли отвергнуть нулевую гипотезу.
Synergetic тестировал две рассылки с промокодом на 500 и 1000 рублей. Для этого сформулировали нулевую гипотезу «ни один из промокодов не увеличивает конверсию» и альтернативную ― «промокод на 1000 рублей увеличивает конверсию».
Клиентам, которые попали в welcome-цепочку, отправили две рассылки с разными промокодами и измерили конверсию в заказ каждого варианта.
Письмо с промокодом на 500 рублей
Письмо с промокодом на 1000 рублей
Выборки оказалось недостаточно для проверки на калькуляторе Mindbox, поэтому провели z-тест. По его результатам разница в конверсии в заказ между вариантами оказалась незначительной: в первой группе, с промокодом на 500 рублей, ― 6,4%, во второй группе, с промокодом на 1000 рублей, ― 7%.
Нулевая гипотеза подтвердилась: сумма в промокоде почти не влияет на конверсию в заказ. Значит, если отправлять клиентам промокод на 500 рублей, можно сэкономить бюджет, не потеряв их лояльность.
Чтобы убедиться, что вывод верен, его проверили с помощью еще одного сравнительного анализа. Для этого взяли те же выборки людей из первой и второй группы, которые открывали рассылки, и посмотрели, сколько из них добавляли товары в корзину после того, как открыли письма. Различия в конверсиях оказались еще менее значимыми. Это подтвердило вывод.
Теперь, когда стало понятно, поможет ли гипотеза развитию бизнеса, нужно решить, что с ней делать. Если она сработала, ее можно использовать, если ее эффективность не подтвердилась ― отложить ее и тестировать следующую. Часто маркетологи возвращаются к отложенным гипотезам, чтобы попробовать их улучшить. Иногда после такой модификации гипотеза, которую когда-то отвергли, приносит пользу.
