Что такое АБ-тест и как его правильно провести

Что такое АБ-тест и как его правильно провести

A/Б-тестирование — это эксперимент для выбора из нескольких (чаще — двух) вариантов более эффективного. Например, из двух вариантов рассылки, страницы сайта, карточки товара в интернет-магазине. Тест помогает принять решение, основываясь на цифрах. Полезен когда:
  • Коллеги не договорились: владелец продукта за одно, дизайнер за другое, маркетолог за третье.
  • Нужно принять решение относительно дорогостоящего изменения.
  • Выбирается алгоритм товарных рекомендаций среди разных сервисов.
  • Страшно менять что-то сразу, «а вдруг не пойдет».
В статье поделимся историями успеха и расскажем, как поэтапно провести A/Б-тест, без чего он бесполезен, как исключить погрешность, какие инструменты помогут анализировать результат и как ошибку поможет найти А/А-тест.

Примеры A/Б-тестов с пользой для бизнеса

Результат успешного теста — выбор варианта-победителя и улучшение конверсии. Клиенты Mindbox с помощью A/Б-тестирований добились измеримого результата в деньгах:
  • Маркетолог сети винных супермаркетов «Ароматный мир» убедился, что промокоды увеличивают выручку, но размер промокода не имеет значения.
  • Интернет-магазин «Первый мебельный» улучшил показатели рассылок на 25%.
  • Обувной ритейлер kari сэкономил 19% бюджета на SMS-рассылках.
Ссылки на материалы дублирую в конце статьи.

Этапы проведения эксперимента

Выделим этапы проведения A/Б-тестирования и подробно остановимся на каждом:
  1. Определение точки роста и выбор метрик.
  2. Составление гипотезы.
  3. Определение размера тестовой выборки.
  4. Проверка сбора данных по метрике.
  5. Запуск теста и снятие результатов.

Определение точки роста и выбор метрики

Для определения точки роста важно понять, что хочется улучшить и с помощью какой метрики измеряется улучшение. Например, вы обратили внимание, что транзакционное письмо об оформлении заказа редко открывают. Или хочется разобраться, приносит ли деньги виджет товарных рекомендаций в карточке товара. Варианты метрик для измерения улучшения:
  • Доход
  • Количество заказов
  • Средний чек
  • Процент открытия писем
  • Повторные покупки
  • Количество линий чека в заказе

Составление гипотезы

Определив точку роста, выберем, что улучшать. Без гипотезы тест бесполезен. В идеале гипотеза содержит ожидаемое увеличение. Тестировать можно дополнительные блоки, обращения, цвета, размеры текста, формы и дизайны. Ниже примеры гипотез наших клиентов.
Гипотеза
Варианты
Метрика
Эмодзи в теме письма увеличивают открытия на 2%
С эмодзи и без эмодзи
Открываемость
Блок сопутствующих товаров в карточке товара увеличит средний чек на ~10%
С блоком сопутствующих товаров в карточке и без
Выручка
Попап на сайте с бесплатной доставкой увеличит конверсию в заказ на 4%
С попапом и без попапа
Количество заказов и выручка

Определение размера тестовой выборки

Для каждого тестирования нужен определенный размер выборки, чтобы получить статистически значимый результат. Статистическая значимость — это оцененная мера уверенности в том, что полученный результат не случайность. Это важно, потому что без статистической значимости случайное совпадение можно ошибочно принять за успех варианта. Результат — неверное бизнес-решение.
Например, доля открытых писем в рассылках составляет 20%. Если хотите увеличить показатель на 25% с помощью изменения, понадобится выборка минимум из 2000 человек. Необходимый размер выборки рассчитывается с помощью калькулятора A/Б-тестов. Подробнее — в блоке «Инструменты для тестов».

Проверка сбора данных по метрике

Перед запуском теста убедитесь, что нужная метрика собирается. Например, настроена цель в Google Analytics, или запущен эксперимент в Google Optimize, или собирается информация о выручке в сводном отчете по рассылкам Mindbox.
Если предполагаете, что возникла погрешность и результаты связаны не с тестируемыми вариантами, а с особенностями выборки, попробуйте А/А-тестирование.

А/А-тест как способ проверить правильность деления на группы

А/А-тест — это разновидность эксперимента, когда варианты одинаковы. Если, несмотря на идентичность, показатели вариантов отличаются, значит где-то ошибка.
Например, ошибка может быть в распределении участников эксперимента. В одной группе участники покупают товары чаще, чем в другой. Ошибка может быть в сборе данных: на каком-то этапе передачи информация теряется. Есть сомнения — используйте А/А-тестирование.

Снятие результатов

По окончанию тестирования снимите результаты и посчитайте статистическую значимость теста. Вариант, который статистически значим и отличается в лучшую сторону (например, заработал больше денег), считается победителем. Чтобы рассчитать результат, воспользуйтесь калькулятором A/Б-тестирований, о нем ниже.
Пример из Google Optimize
Пример из Google Optimize: завершенное тестирование на сайте со статистически значимым результатом: выручка варианта-победителя оказалась на 50% больше

Инструменты для настройки тестов

Рассмотрим инструменты для A/Б-тестирования:

Калькулятор A/Б-тестирований

Бесплатный сервис «Калькулятор достоверности A/Б-тестирований» помогает высчитать нужный размер выборки для статистически достоверного эксперимента и подвести итоги. Введите цифры своего эксперимента — и увидите результат.
Скриншот калькулятора
Скриншот калькулятора

Google Optimize

Google Optimize — бесплатный инструмент Google для тестирования сайтов. Настраиваете несколько вариантов сайта и запускаете тестирование. Инструмент используется в связке с Google Analytics: оттуда Optimize берет информацию по показателям, таким как доход, количество транзакций и так далее.

Как настраивается A/Б-тестирование в Mindbox

В Mindbox можно тестировать между собой рассылки, акции и алгоритмы рекомендаций. Тестирование настраивается через интерфейс. Для этого определяется целевое действие, размер выборки и желаемый рост конверсии. Подробнее в статье «Как настроить Контрольную Группу и A/Б-тестирование в рассылке».

Резюме

Чтобы доказать эффективность изменений и провести классный A/Б-тест, нужно:
  1. Определить точку роста и метрику.
  2. Составить гипотезу. В идеале — с ожидаемым приростом нужной метрики.
  3. Определить размер выборки для тестирования.
  4. Убедиться, что нужные данные собираются. Если сомневаетесь, попробуйте А/А-тестирование.
  5. Снять результаты спустя время. Проверить статистическую значимость калькулятором достоверности.

Полезные ссылки

Почитайте ещё: