Калькулятор достоверности АB-тестов

Средний показатель

Можно определить по историческим данным. Скажем, если тестируете click rate — возьмите его среднее значение за последние полгода.

Ожидаемый прирост

Минимальный процент, на который планируете увеличить тестируемый показатель. Чем меньше ожидаемый прирост, тем больше должна быть выборка. Если по итогам теста вам не удастся достичь ожидаемого прироста, считается, что результаты не значимы.

Достоверность

Процент вероятности, с которой результаты верны, если тест показал разницу.
Если не знаете, какой процент указать, оставьте значение по умолчанию.

Мощность

Процент вероятности, с которой результаты верны, если тест не показал разницу.
Если не знаете, какой процент указать, оставьте значение по умолчанию.

Размер выборки

Число людей, которые должны увидеть каждый вариант, чтобы можно было доверять результату теста. Помогает рассчитать время теста и не выключить его слишком рано или, наоборот, поздно.

Конверсия

Показатель конверсии в каждом из вариантов при достоверности 100%.

Доверительный интервал

Конверсия при указанном уровне достоверности. Если он равен 95%, то конверсия с вероятностью 95% находится в пределах доверительного интервала.

Достоверность

Процент вероятности, что результаты теста верны.

Вывод

Вариант A лучше B — размер выборки и разница в конверсиях статистически значимы. Результату теста с заданной достоверностью можно доверять.

Вариант А и В значимо не различаются — конверсия отличается
из-за случайных факторов, а не из-за разницы вариантов. Возможно, выборка изначально слишком мала, чтобы получить значимый результат, или тест рано остановили.