Кейс ALBA: A/B-тесты СМС-рассылок для обувной сети

ALBA — сеть обуви и аксессуаров. Существует с 1996 года. Обувь ALBA разрабатывается и изготавливается в Италии, органично соединяет в себе итальянское чувство стиля и европейские традиции качества. Продукция сочетает в себе самые современные тенденции дизайна, при этом остаётся удобной для постоянной носки, а большой размерный ряд и разнообразие моделей, выполненных из натуральной кожи, позволяет каждому покупателю подобрать идеально подходящую пару обуви.
ALBA — огромная федеральная сеть. Отправлять СМС-рассылки всем потребителям стоит очень много денег. К тому же, хотелось улучшить результативность СМС-рассылок по участникам программы лояльности. Сделали пилотный проект СМС-рассылок с персонализацией и измерили результаты.

Результаты

Изначально предполагалось, что короткая СМС окажется выгоднее, потому что стоит в 2 раза дешевле. В итоге, длинная СМС с персонализацией и подробным сообщением принесла прибыль, а короткое сообщение оказалось убыточным.
После отправки СМС-рассылки по тестовой группе и подсчета чистой прибыли, итог рассылки по всей базе окажется в следующем диапазоне:
Итог рассылки
То есть, короткое сообщение про скидки скорее всего окажется убыточным на 35 тысяч рублей, когда как более дорогое СМС-сообщение с персонализацией может принести от 33 тысяч до 1 миллиона рублей чистой прибыли.

Как тестировали СМС-рассылку

Подготовка теста

Выбрали 16 тысяч случайных участников программы лояльности ALBA и поделили 4 однородные группы. Сравнили группы по полу, возрасту и покупательскому поведению до СМС-рассылки. Чтобы убедиться, что потребители в тестовых группах ведут себя примерно одинаково.
СМС-рассылка A/B-тестирование

СМС-рассылка

Придумали 2 СМС-сообщения. Третья группа — контрольная, поэтому она ничего не получит. Контрольная группа станет отражением естественного поведения покупателей, не получивших СМС-рассылку.
Первое СМС-сообщение
Второе СМС-сообщение

Результаты отправки

Планируя тест — помните о доверительном интервале!

Если разослать те же сообщения по всей базе, а не только тестовой группе, то результаты могут отличаться. Поэтому надо рассчитывать доверительные интервалы. В целом, это показатель того, насколько близкая к первоначальной получится величина при повторении эксперимента.
Конверсия в заказы по группам
Короткая рассылка принесла столько же покупателей, сколько пришло в контрольной группе самостоятельно.
Посчитали, сколько дополнительных денег относительно контрольной группы принесли короткая и длинная СМС. Для этого из процента купивших по каждой СМС вычли процент контрольной группы, посчитали сумму покупок, учли маржинальность товаров и вычли затраты на рассылку.
По итогам короткая СМС не принесла продаж и оказалась убыточна. Длинная СМС «Светлана, для Вас действуют скидки до 50% на летнюю коллекцию в салонах обуви ALBA. Адрес ближайшего магазина выбирайте на сайте www.the-alba.com» принесла деньги.

Итог

  • Чтобы СМС-рассылка приносила деньги, нужно постоянно тестировать и проявлять внимание к деталям;
  • Короткое дешевое СМС-сообщение может оказаться убыточным, а длинное и дорогое — прибыльным.

Вас заинтересуют следующие материалы