Калькулятор достоверности АB-тестирования

Среднее значение тестируемого показателя определяется, например, по историческим данным.

Ожидаемый прирост — минимальный процент, на который планируете увеличить тестируемый показатель. Если он будет слишком маленьким — для теста понадобится много людей. Если будет слишком большим, а реальный прирост окажется меньше — значит не удалось добиться нужного роста и результаты теста не значимы.

Достоверность — процент уверенности в том, что результаты теста верны, если он показал разницу.

Мощность — процент уверенности в том, что результаты теста верны, если он не показал разницу. Если не знаете, какой процент указать, оставьте значения по умолчанию.

Размер выборки — показывает, сколько людей должны увидеть каждый вариант, чтобы можно было доверять результату теста. Помогает рассчитать время теста и не выключить его слишком рано или слишком поздно.

Например, триггерная цепочка отправляет 100 писем в день. Калькулятор определил: для достоверного сравнения двух вариантов нужны две выборки по 500 человек. Значит, нужно отправить 1000 писем в течение 10 дней.

Конверсия — показатель конверсии в каждом из вариантов при достоверности 100%.

Доверительный интервал — конверсия при указанном уровне значимости. По умолчанию — 95%, то есть конверсия с вероятностью 95% находится среди значений доверительного интервала.

Достоверность показывает, что результаты тестирования верны с указанной долей вероятности.

Вывод
Вариант A лучше B — размер выборки и разница в конверсиях статистически значимы. Результату теста с заданной достоверностью можно доверять.

Вариант А и В значимо не различаются — конверсия отличается из-за случайных факторов, а не из-за отличий вариантов. Или размер выборки недостаточен для получения статистически значимых результатов. Возможно, потому что тест остановили слишком рано.

Рассчитать, сколько человек нужно для теста можно в калькуляторе «Размер выборки».