Калькулятор достоверности А/B-тестирования

Вопрос: сколько нужно людей для проведения A/B-теста?

Вопрос: отличается ли степень успеха в тестируемых группах?

Что тестируем

Показатель, который хочу протестировать

Open Rate
  • Open Rate
  • Click Rate
  • Конверсия в заказы
  • Конверсия в другие целевые действия
Количество вариантов тестирования
2

Значение показателей

Средний Open Rate по истории

Ожидаемый прирост Open Rate (абсолютный)

Размер выборки (чел.)

Вариант А
10220
Вариант B
10220

Достоверность

Мощность

Количество вариантов тестирования
2
# конверсий # размер выборки Конверсия, % Доверительный интервал, %
Вариант А
Вариант В
Вывод

Достоверность

Калькулятор «Размер выборки» помогает подготовиться к тесту — то есть узнать, сколько нужно людей, чтобы результаты были достоверными.

Как пользоваться калькулятором

В колонке «Что тестируем»
  1. Укажите показатель, который хотите протестировать: Click Rate, Open Rate, конверсию в заказы или другой вид конверсии.
  2. Укажите количество вариантов: от 2 до 5, которые планируете сравнить.
В колонке «Значение показателей»
  1. Укажите среднее значение тестируемого показателя. Например, можно использовать исторические данные.
  2. Укажите минимальный процент, на который вы планируете увеличить конверсию с помощью тестируемых вариантов.

Ищите баланс. Если ввести слишком маленький показатель «Ожидаемого прироста», понадобится очень много людей для подтверждения значимости результатов. Если же показатель будет слишком большим, а в итоге ожидаемый прирост окажется меньше, значит, вы не добились нужного роста. То есть считать, что вы получили значимые результаты, нельзя.

В нижней строке
  1. Достоверность — процент уверенности в том, что результаты теста верны, если он показал разницу.
  2. Мощность — процент уверенности в том, что результаты теста верны, если он не показал разницу.

Если вы не знаете, какой процент показателя стоит указать, оставьте значения по умолчанию.

Как читать результаты

В колонке «Размер выборки»

Результатом теста будут от 2 до 5 значений, в зависимости от количества тестируемых вариантов. Они показывают, сколько людей должны увидеть каждый вариант, чтобы можно было доверять результату. Эти данные помогут в том числе рассчитать время, которое потребуется на проведение тестирования, чтобы вы не выключили его слишком рано или слишком поздно.

Например, триггерная цепочка отправляет 100 писем в день. Калькулятор определил, что достоверные результаты сравнения двух вариантов вы получите, если в тестировании примет 500 человек по каждому из них. Значит, вам потребуется отправить 1000 писем. Это займет 10 дней.

Мы готовим несколько интересных статей об А/B-тестировании и маркетинге. Хотите узнать о них раньше всех?

Нажимая “Подписаться” вы соглашаетесь на передачу данных и подписку

Запрос на подключение

Кол-во контактов*
  • 50 000
  • 100 000
  • 150 000
  • 200 000
  • 250 000
  • 300 000
  • 350 000
  • 400 000

Форма обратной связи

Свяжемся в течение
рабочего дня

Заявка на партнерство

Свяжемся в течение
рабочего дня

Обратная связь