Калькулятор достоверности АB-тестирования
Рассчитать размер выборки
Помогает подготовиться к тесту и узнать, сколько нужно людей для достоверных результатов. Подходит для тестирования Open rate, Click rate, конверсии в заказы и других показателей.
количество человек
Среднее значение тестируемого показателя определяется, например, по историческим данным.
Ожидаемый прирост — минимальный процент, на который планируете увеличить тестируемый показатель. Если он будет слишком маленьким — для теста понадобится много людей. Если будет слишком большим, а реальный прирост окажется меньше — значит не удалось добиться нужного роста и результаты теста не значимы.
Достоверность — процент уверенности в том, что результаты теста верны, если он показал разницу.
Мощность — процент уверенности в том, что результаты теста верны, если он не показал разницу. Если не знаете, какой процент указать, оставьте значения по умолчанию.
Размер выборки — показывает, сколько людей должны увидеть каждый вариант, чтобы можно было доверять результату теста. Помогает рассчитать время теста и не выключить его слишком рано или слишком поздно.
Например, триггерная цепочка отправляет 100 писем в день. Калькулятор определил: для достоверного сравнения двух вариантов нужны две выборки по 500 человек. Значит, нужно отправить 1000 писем в течение 10 дней.
Подвести итоги тестирования
Помогает понять, отличаются ли результаты в тестируемых вариантах, какой вариант лучше и можно ли считать результаты значимыми.
конверсий
интервал
Конверсия — показатель конверсии в каждом из вариантов при достоверности 100%.
Доверительный интервал — конверсия при указанном уровне значимости. По умолчанию — 95%, то есть конверсия с вероятностью 95% находится среди значений доверительного интервала.
Достоверность показывает, что результаты тестирования верны с указанной долей вероятности.
Вывод
Вариант A лучше B — размер выборки и разница в конверсиях статистически значимы. Результату теста с заданной достоверностью можно доверять.
Вариант А и В значимо не различаются — конверсия отличается из-за случайных факторов, а не из-за отличий вариантов. Или размер выборки недостаточен для получения статистически значимых результатов. Возможно, потому что тест остановили слишком рано.
Рассчитать, сколько человек нужно для теста можно в калькуляторе «Размер выборки».
Как правильно проводить AB-тесты
Юлия Туркина, ведущий аналитик Mindbox рассказывает, как правильно проводить AB-тесты в четыре этапа.




Рекомендуем по теме
история клиента
Tefal в 2 раза увеличил выручку от email-рассылок благодаря сегментации, триггерным цепочкам и AB‑тестамистория клиента
«585*ЗОЛОТОЙ» тестирует гипотезы в email и распространяет результаты на SMS, Viber, соцсети, рекламу в офлайне и даже на закупкимаркетинг
Как получать пользу от AB-тестов