Как рассчитать эффект от дополнительной SMS в цепочке

Как рассчитать эффект от дополнительной SMS в цепочке

Иногда из-за специфики бизнеса или отсутствия других каналов с клиентом общаемся по SMS. Также используем SMS-канал, если нужно передать клиенту уникальную информацию, которая должна быть под рукой — номер заказ, адрес магазина или логин/пароль. Например, это может быть приветственная SMS-цепочка с логином/паролем.
Обычно SMS считают дорогим каналом общения, так как нужно оплачивать отправку каждого сообщения оператору. Стоимость привлечения через него получается значительно дороже других прямых каналов.
На самом деле SMS-канал может быть недорогим, если использовать его правильно: отправлять не по всем, а по определенным сегментам людей, работать с текстом. Для наших клиентов эффективность всегда измеряем, используя AB-тесты и контрольную группу. Измеряем конверсию и стоимость дополнительного привлеченного человека от SMS.
В статье на примере одной компании покажем, как рассчитать чистый эффект от SMS, стоимость привлечения каждого клиента и принять правильное решение, нужно ли включать это сообщение в регулярную коммуникацию.

Пример про клиента

У одного из наших клиентов запущена welcome-цепочка, которая состоит из трех SMS. Цель цепочки — привлечь покупателя на сайт. Каждая следующая SMS отправляется тем, кто не отреагировал на предыдущую в течение определенного времени. Она имеет меньшую конверсию, потому что отправляется по менее заинтересованным клиентам.
Welcome-цепочка
В нашем примере измеряли конверсию из отправленных SMS в переход на сайт (в текст включали логин и пароль или ссылку с автоматической авторизацией).
  • SMS №1 приносит 16% конверсий
  • SMS №2 дополнительные 14% конверсий
  • SMS №3 еще 9% конверсий
Всего 39% клиентов, которые получили SMS, вошли на сайт.
У нас возникла идея добавить еще одну SMS в цепочку. Понятно, что эта SMS будет приносить еще меньше конверсий, чем предыдущая. Но возможно отклик от нее все же будет, и она поможет увеличить целевой показатель — количество привлеченных на сайт посетителей.
Как определить, целесообразно запускать SMS №4 или нет?
Для этого решили:
  1. Запустить по небольшой группе SMS № 4.
  2. Оценить конверсию в сравнении с контрольной группой и стоимость дополнительно привлеченных от SMS № 4.
  3. Сравнить с теми же показателями для SMS № 3.

Добавили новую SMS в цепочку для части получателей

Добавили SMS № 4 в коммуникацию для небольшого процента получателей. Увидели дополнительную конверсию во входы на сайт — 1,3%.
Добавили новую SMS

Замерили эффект с помощью контрольной группы

Посчитали чистый эффект от SMS № 4: из конверсии убрали клиентов, которые могли совершить целевое действие просто так, без SMS.
Для этого использовали контрольную группу. Метод подразумевает, что части получателей рассылка не отправляется, эта группа называется контрольной. Остальная часть клиентов получает рассылку, эта группа называется тестовой. Что мы сделали:
  1. Всех клиентов, которые не откликнулись на предыдущие SMS, разделили на две части случайным образом: тестовую и контрольную.
  2. Запустили SMS № 4 на тестовую часть клиентов через 15 дней после отправки SMS № 3, по контрольной группе ничего не слали.
  3. В течение 21 дня после отправки наблюдали конверсию в переходы на сайт двух групп.
В итоге получили:
  • В тестовой группе (получили SMS) конверсия составила 1,4%.
  • В контрольной группе — 0,6% (приходят и без SMS).
Разница между группами статистически значима. Прирост конверсии от SMS № 4: 1,4 — 0,6 = 0,8%.
Прирост конверсии от SMS №4
В Mindbox настроить тест с контрольной группой очень просто.
И тут вопрос — эффект есть, стоит ли запускать дополнительную коммуникацию?

Посчитали стоимость привлеченного с SMS клиента

Посчитали CPC (cost per contact) — дополнительную стоимость за каждого привлеченного клиента от SMS №4.
Картинка
  • Стоимость одной SMS = стоимость 1 части SMS * кол-во частей.
  • Количество дополнительно привлеченных клиентов = разница в количестве привлеченных между тестовой и контрольной группой.
Получили 290 рублей за каждого дополнительно привлеченного клиента с помощью SMS № 4.
Много это или мало?

Сравнили показатели с другой SMS в цепочке

  • Дополнительная конверсия в переходы на сайт после SMS № 3 = 8,4%
  • CPC SMS №3 = 20 рублей
Сравнение показателей с другой SMS в цепочке
Сравнили CPC SMS № 3 и SMS № 4, а также стоимость привлечения по другим каналам. Увидели, что разница в стоимости привлечения от SMS № 4 в 10 раз выше других. На основании этого компания приняла решение не добавлять SMS в регулярную цепочку.
Сравнение CPC

Дальше произошла интересная история.

Тесты

Заключение

Чтобы проверить эффективность цепочки коммуникации рекомендуем:
  1. Поочередно включить контрольную группу для каждой из SMS и посмотреть, есть ли разница в отклике и значимая ли она.
  2. Рассчитать стоимость привлечения дополнительной конверсии от каждой SMS по отдельности и в цепочке и посмотреть, устраивает ли вас такая стоимость.
Картинка
Аналогичным способом можно посмотреть эффективность и других каналов, например, Viber, WhatsApp и так далее.
Также рекомендуем постоянно тестировать запущенную коммуникацию, много факторов влияет на ее успешность!

Вас заинтересуют следующие материалы