«Столплит» протестировал попапы с контрольной группой: рост выручки на клиента — от 16%

Столплит — производитель мебели. Владеет онлайн-гипермаркетом и сетью розничных магазинов в странах СНГ
Масштаб бизнеса. 
Более 2 млн посетителей сайта ежемесячно75 фирменных и более 250 дилерских магазинов в России
автор
Наталья Комиссарова,
Руководитель интернет-проектов «Столплит»
Задача
Увеличить выручку интернет-магазина
Решение
Персонализировать сайт

ИТ. 

Сайт на «Битрикс24», кассы на 1С, CRM 1С, платформа автоматизации маркетинга Mindbox
Результат
От 16% — рост ARPU благодаря попапам в сравнении с контрольной группой

Срок. 

6 месяцев
Фишка
5 AB-тестов, чтобы измерить влияние попапов на выручку и число подписчиков.
С помощью попапов «Столплит» не только собирает контакты, но и растит продажи. Например, конвертирует платный трафик в заказы и подталкивает завершить покупку. В кейсе бренд делится идеями механик и подробным описанием AB-тестов — готовая инструкция, как персонализировать сайт и измерить результат в деньгах.

Результаты

  • +16%
    к ARPU относительно контрольной группы принес попап «Хит продаж»
  • +24,5%
    к ARPU относительно контрольной группы принес попап «Высокий спрос»
  • +60%
    к ARPU относительно контрольной группы принес попап «Товар в избранном»

Попапы social proof — для конверсии платного трафика в заказ

Чтобы стимулировать рост заказов, в «Столплит» запустили попапы с социальным доказательством — «Хит продаж» и «Высокий спрос». Их задача — «дожать» до покупки пользователей, которые перешли на сайт из рекламы. Обычно платный трафик — это либо новички, либо старые клиенты, которые давно не заглядывали в «Столплит». Им нужен дополнительный стимул, чтобы решиться на покупку. Предполагается, что постоянным посетителям сайта и тем, кто уже наполнил корзину, такой стимул ни к чему. Поэтому им не показывают попапы social proof, чтобы не спамить.
Картинка
Попап «Хит продаж»
Картинка
Попап «Высокий спрос»
Картинка
Условия показа попапа «Хит продаж»
Картинка
Условия показа попапа «Высокий спрос»
Таргетинг настроен так, чтобы не спамить постоянных посетителей сайта и тех, кто уже положил товары в корзину. Чтобы попапапы не пересекались, «Высокий спрос» всплывает через две минуты после «Хита продаж»
AB-тесты с контрольной группой подтвердили эффективность попапов social proof. Во время эксперимента на сайте не проверяли других гипотез, которые могли бы повлиять на конверсию в заказ. Были запущены только два попапа — «Хит продаж» и «Высокий спрос».
Выборка формировалась автоматически: в нее вошли все, кто попадал под условия показа попапов. Тестовую и контрольную группу выделили по принципу «50 на 50», чтобы быстрее получить статзначимый результат. В Mindbox также можно настраивать AB-тесты 70 на 30 или 90 на 10, но ждать окончания эксперимента придется дольше.
В качестве ключевых показателей теста выбрали конверсию в заказ и ARPU (average revenue per user) — это метрика, которая показывает, сколько клиент в среднем тратит на продукт за определенный период времени. ARPU рассчитывали отдельно для вариантов A и B по формуле:
В данном случае выручку считали за 11 дней.
Тест попапа «Хит продаж» с контрольной группой
Гипотеза
Попап увеличит конверсию в заказ и выручку с клиента
Результат
Гипотеза подтвердилась. С попапом на 0,14% выше конверсия в заказ, на 16% выше ARPU
Соотношение тестовой и контрольной групп
50% на 50%
Доверительная вероятность
95%
Картинка
Отчет показывает победу попапа «Хит продаж» в тесте с контрольной группой
Тест попапа «Высокий спрос» с контрольной группой
Гипотеза
Попап увеличит конверсию в заказ и выручку с клиента
Результат
Гипотеза подтвердилась. С попапом на 0,3% выше конверсия в заказ, на 24,5% выше ARPU
Соотношение тестовой и контрольной групп
50% на 50%
Доверительная вероятность
95%
Картинка
Отчет показывает победу попапа «Высокий спрос» в тесте с контрольной группой

Попапы «Товар в избранном», «Товар в корзине» и «Мебель в подарок» — для мотивации завершить заказ

Для клиентов, которые сохранили товары в «Избранном» или корзине, настроены «брошенные механики». Они стимулируют сделать заказ до того, как изменится цена. В интернет-магазине «Столплит» цены обновляются каждый месяц: поставщики периодически пересматривают их в зависимости от того, как колеблется стоимость материалов или перевозки. Поэтому клиенты видят попапы с предупреждением.
Картинка
Попап «Товар в избранном»
Тест попапа «Товар в избранном» с контрольной группой
Гипотеза
Попап увеличит конверсию в заказ и выручку с клиента
Результат
Гипотеза подтвердилась. С попапом на 2,66% выше конверсия в заказ, на 60% выше ARPU
Соотношение тестовой и контрольной групп
50% на 50%
Доверительная вероятность
95%
Картинка
Отчет показывает победу попапа «Товар в избранном» в тесте с контрольной группой. Эксперимент длился неделю, поскольку такой срок был выставлен на таймере попапа. Когда закончился обратный отсчет, попап исчез. За это время Mindbox не успел автоматически завершить тест — посчитал, что было недостаточно участников. Но поскольку разница между вариантами была большая, даже при такой выборке калькулятор AB-тестов подтвердил статистическую значимость
Важно учесть, что за время теста клиентов с заказами набралось немного. Если экстраполировать результат на всех клиентов, возникнет погрешность: попап точно даст прирост в ARPU, но он будет сильно меньше 60%.
Другая механика для мотивации к заказу — попап «Товар в корзине». Он всплывает, если человек положил товары в корзину и продолжил просматривать сайт, не сделав заказ. Этот попап также тестировали с контрольной группой.
Картинка
Попап «Товар в корзине»
Тест попапа «Товар в корзине» с контрольной группой
Гипотеза
Попап увеличит конверсию в заказ и выручку с клиента
Результат
Гипотеза не подтвердилась. Есть попап или нет — конверсия в заказ и ARPU не меняются
Соотношение тестовой и контрольной групп
50% на 50%
Доверительная вероятность
95%
Картинка
Отчет показывает, что попап «Товар в корзине» не влияет на конверсию в заказ. Понадобилось почти два месяца, чтобы достичь статзначимости теста
Несмотря на результаты теста, «Столплит» не будет сразу отказываться от механики. В планах — изменить условия показа, оформить попап в цвета сайта, чтобы выглядел ярче, и улучшить оффер: бонусные баллы за покупку. Причем сумма баллов будет подбираться персонально для каждого клиента и динамически подставляться в попап.По итогам еще одного AB-теста с контрольной группой команда решит, сохранить ли механику.
Еще одна стимулирующая механика — попап с подарком на странице корзины. Если покупатель набрал товаров на сумму от 20 тысяч рублей, попап сообщает об акции. Так меньше шансов, что человек просмотрит товары в корзине и уйдет, не сделав заказ.
Картинка
Попап в корзине видят клиенты, набравшие товаров на 20 тысяч рублей и больше. Только они могут участвовать в акции

Бонус: как тестировали попап для сбора контактов

«Столплит» использует попап для сбора email, чтобы наращивать число подписчиков. В обмен на контакты посетителю сайта предлагают промокод. Первоначально у формы была невысокая конверсия — 0,42%. Предположили, что повысить ее можно за счет более привлекательного дизайна. Гипотезу проверили AB-тестом на новых посетителях сайта. Половина из них увидела прежний попап, а вторая половина — новый.
Картинка
Вариант А
Картинка
Вариант B
Гипотеза
Более лаконичный дизайн лучше привлечет пользователей и повысит конверсию в контакт
Результат
Гипотеза подтвердилась. У варианта А конверсия в оставленный контакт — 0,50%, у варианта B — 0,82%
Соотношение тестовых групп
50% на 50%
Доверительная вероятность
95%

Планы

«Столплит» продолжит тестировать гипотезы и наращивать эффективность попапов. Цель — получить 10 рублей с каждого рубля, вложенного в Mindbox, в том числе в модуль персонализации.
Механики в проработке:
  1. Праздничные игровые механики с подарками, например к Новому году или 8 марта, чтобы повышать лояльность.
  2. Плашки вверху сайта, которые подсвечивают преимущества сервиса «Столплит».
  3. Попапы на страницы корзины с предложением добавить товар и получить скидку. Для роста среднего чека.
  4. Попап для клиентов, которые готовятся к дорогой покупке: те, кто смотрел товары от определенной суммы, получат при заказе повышенные баллы и скидку.
  5. Кампания для клиентов, которые несколько раз смотрели карточку одного и того же товара. Попап предложит скачать приложение и виртуально увидеть, как выбранная мебель будет смотреться дома.
  6. Попап с повышенной скидкой для платного трафика. Например, чтобы удержать тех, кто перешел на сайт из «Яндекс.Директа».
P. S. В этой истории мы рассказывали о нашем продукте Персонализация сайта. Узнайте о продукте подробнее на его странице или в разговоре с консультантом.