АБ-тест позволяет сравнить несколько версий чего-либо (страницы сайта, рассылки и т.д.), чтобы проверить эффективность улучшений с помощью цифр.
8 апреля 2020
Что такое АБ-тест и как его правильно провести
Что такое АБ-тест и как его правильно провести
A/Б-тестирование — это эксперимент для выбора из нескольких (чаще — двух) вариантов более эффективного. Например, из двух вариантов рассылки, страницы сайта, карточки товара в интернет-магазине. Тест помогает принять решение, основываясь на цифрах. Полезен когда:
- Коллеги не договорились: владелец продукта за одно, дизайнер за другое, маркетолог за третье.
- Нужно принять решение относительно дорогостоящего изменения.
- Выбирается алгоритм товарных рекомендаций среди разных сервисов.
- Страшно менять что-то сразу, «а вдруг не пойдет».
В статье поделимся историями успеха и расскажем, как поэтапно провести A/Б-тест, без чего он бесполезен, как исключить погрешность, какие инструменты помогут анализировать результат и как ошибку поможет найти А/А-тест.
Примеры A/Б-тестов с пользой для бизнеса
Результат успешного теста — выбор варианта-победителя и улучшение конверсии. Клиенты Mindbox с помощью A/Б-тестирований добились измеримого результата в деньгах:
Ссылки на материалы дублирую в конце статьи.
Этапы проведения эксперимента
Выделим этапы проведения A/Б-тестирования и подробно остановимся на каждом:
- Определение точки роста и выбор метрик.
- Составление гипотезы.
- Определение размера тестовой выборки.
- Проверка сбора данных по метрике.
- Запуск теста и снятие результатов.
Определение точки роста и выбор метрики
Для определения точки роста важно понять, что хочется улучшить и с помощью какой метрики измеряется улучшение. Например, вы обратили внимание, что транзакционное письмо об оформлении заказа редко открывают. Или хочется разобраться, приносит ли деньги виджет товарных рекомендаций в карточке товара. Варианты метрик для измерения улучшения:
- Доход
- Количество заказов
- Средний чек
- Процент открытия писем
- Повторные покупки
- Количество линий чека в заказе
Составление гипотезы
Определив точку роста, выберем, что улучшать. Без гипотезы тест бесполезен. В идеале гипотеза содержит ожидаемое увеличение. Тестировать можно дополнительные блоки, обращения, цвета, размеры текста, формы и дизайны. Ниже примеры гипотез наших клиентов.
Гипотеза
Варианты
Метрика
Эмодзи в теме письма увеличивают открытия на 2%
С эмодзи и без эмодзи
Открываемость
Блок сопутствующих товаров в карточке товара увеличит средний чек на ~10%
С блоком сопутствующих товаров в карточке и без
Выручка
Попап на сайте с бесплатной доставкой увеличит конверсию в заказ на 4%
С попапом и без попапа
Количество заказов и выручка
Определение размера тестовой выборки
Для каждого тестирования нужен определенный размер выборки, чтобы получить статистически значимый результат. Статистическая значимость — это оцененная мера уверенности в том, что полученный результат не случайность. Это важно, потому что без статистической значимости случайное совпадение можно ошибочно принять за успех варианта. Результат — неверное бизнес-решение.
Например, доля открытых писем в рассылках составляет 20%. Если хотите увеличить показатель на 25% с помощью изменения, понадобится выборка минимум из 2000 человек. Необходимый размер выборки рассчитывается с помощью калькулятора A/Б-тестов. Подробнее — в блоке «Инструменты для тестов».
Проверка сбора данных по метрике
Перед запуском теста убедитесь, что нужная метрика собирается. Например, настроена цель в Google Analytics, или запущен эксперимент в Google Optimize, или собирается информация о выручке в сводном отчете по рассылкам Mindbox.
Если предполагаете, что возникла погрешность и результаты связаны не с тестируемыми вариантами, а с особенностями выборки, попробуйте А/А-тестирование.
А/А-тест как способ проверить правильность деления на группы
А/А-тест — это разновидность эксперимента, когда варианты одинаковы. Если, несмотря на идентичность, показатели вариантов отличаются, значит где-то ошибка.
Например, ошибка может быть в распределении участников эксперимента. В одной группе участники покупают товары чаще, чем в другой. Ошибка может быть в сборе данных: на каком-то этапе передачи информация теряется. Есть сомнения — используйте А/А-тестирование.
Снятие результатов
По окончанию тестирования снимите результаты и посчитайте статистическую значимость теста. Вариант, который статистически значим и отличается в лучшую сторону (например, заработал больше денег), считается победителем. Чтобы рассчитать результат, воспользуйтесь калькулятором A/Б-тестирований, о нем ниже.
Пример из Google Optimize: завершенное тестирование на сайте со статистически значимым результатом: выручка варианта-победителя оказалась на 50% больше
Инструменты для настройки тестов
Рассмотрим инструменты для A/Б-тестирования:
Калькулятор A/Б-тестирований
Бесплатный сервис «Калькулятор достоверности A/Б-тестирований» помогает высчитать нужный размер выборки для статистически достоверного эксперимента и подвести итоги. Введите цифры своего эксперимента — и увидите результат.
Скриншот калькулятора
Google Optimize
Google Optimize — бесплатный инструмент Google для тестирования сайтов. Настраиваете несколько вариантов сайта и запускаете тестирование. Инструмент используется в связке с Google Analytics: оттуда Optimize берет информацию по показателям, таким как доход, количество транзакций и так далее.
Как настраивается A/Б-тестирование в Mindbox
В Mindbox можно тестировать между собой рассылки, акции и алгоритмы рекомендаций. Тестирование настраивается через интерфейс. Для этого определяется целевое действие, размер выборки и желаемый рост конверсии. Подробнее в статье «Как настроить Контрольную Группу и A/Б-тестирование в рассылке».
Резюме
Чтобы доказать эффективность изменений и провести классный A/Б-тест, нужно:
- Определить точку роста и метрику.
- Составить гипотезу. В идеале — с ожидаемым приростом нужной метрики.
- Определить размер выборки для тестирования.
- Убедиться, что нужные данные собираются. Если сомневаетесь, попробуйте А/А-тестирование.
- Снять результаты спустя время. Проверить статистическую значимость калькулятором достоверности.