Встроенный AB-тест не связывает заказы участников с днем отправки писем о брошенной корзине. TanukiFamily вместе с Mindbox придумали, как точно определить влияние времени отправки на конверсию в заказ. В статье — история о том, как использовали механику и получили цифры, которым можно доверять.
26 марта 2025
Как точнее атрибутировать заказы к вариантам AB-теста: в TanukiFamily нашли оптимальное время отправки «брошенной корзины»
Встроенный AB-тест Mindbox атрибутирует заказы участников без привязки к дню отправки писем о брошенной корзине. Это размывает влияние времени рассылки, поскольку клиенты могут заказывать позже и независимо от полученного напоминания.
Механика помогает выяснить, когда лучше отправлять сообщения о брошенной корзине. Она атрибутирует к вариантам AB-теста только заказы, совершенные в день получения письма.
Задача: учитывать в тесте только заказы первых суток
В TanukiFamily решили протестировать, через какое время сообщение о брошенной корзине повысит конверсию в заказ: через 10 или 20 минут.
Гипотеза: чем раньше отправляется рассылка, тем больше вероятность, что клиент сделает заказ в тот же день.
AB-тест запустили на работающем сценарии. Из клиентов, попадавших в сценарий, выделили контрольную группу, 10%. Им не отправляли сообщения о брошенной корзине. Остальных участников теста разделили 50 на 50: половине клиентов рассылка уходила через 10 минут, другой половине — через 20 минут.
Схема «брошенной корзины» с AB-тестом
Шаг 1. Письмо о брошенной корзине
Шаг 2. Пуш о брошенной корзине
За месяц работы теста стало понятно, что клиенты делают заказы в разное время: в тот же день, через день, неделю или даже месяц. Определить, как время отправки влияет на заказ в тот же день, не удавалось.
Варианты рассылки не отличались между собой по конверсии в заказ
Решение: пересчитать AB-тест, ограничив заказы днем рассылки
Чтобы снизить «шум» данных, TanukiFamily вместе с менеджером Mindbox изменили способ анализа и атрибуции заказов. Для этого выгрузили файлы с участниками и их заказами за весь период работы теста. Заказы, сделанные в день получения рассылки, атрибутировали к одному из вариантов AB-теста и пересчитали конверсию. Это позволило изолировать параметр времени отправки брошенной корзины: 10 минут против 20 минут.
Чтобы убедиться, что результаты статистически значимы, использовали калькулятор достоверности AB-тестов Mindbox.
Калькулятор достоверности подтвердил, что выборка по-прежнему репрезентативна и результаты статистически значимые
Результат: AB-тест помог агрегировать данные для прицельных расчетов
Встроенный AB-тест Mindbox позволил TanukiFamily собрать и структурировать нужные данные для дальнейшего анализа. Пересчитанные результаты теста подтвердили гипотезу и показали статистическую значимость, а значит, можно внедрять изменения в сценарий и продолжать работать над улучшением конверсии.
Вариант
Время ожидания, мин
Конверсия в те же сутки, %
Контрольная группа
X
А
10
Х + 1, 42 п. п.
Б
20
Х — 0,66 п. п.
Статистическая значимость — 95%
Каждый день у нас возникает миллион вопросов: как лучше сделать, что лучше сказать, какую картинку выбрать, что дать гостю в качестве мотивации — скидку, кешбэк или промокод. Культура тестирования прочно вошла в нашу жизнь, мы не тратим время на споры, догадки и принятие волевых решений, а по отработанной процедуре запускаем тесты.
Тест показал результаты, мотивация к заказу работает. Теперь планируем искать баланс между выручкой и бонусами для покупателей.
