Используя шкалу для оценки конверсии от Mindbox, можно буквально за минуту разобраться, насколько можно (или нельзя) доверять заявленным в кейсе результатам.
23 ноября 2017
Как отличить кейс здорового человека от кейса курильщика: универсальная шкала для оценки
Как отличить кейс здорового человека от кейса курильщика: универсальная шкала для оценки
Интернет перенасыщен кейсами по росту конверсии через разные способы персонализации — от триггерных рассылок до а/б тестирования различных рекомендательных платформ. Часть из них — про «лапшу на ушах», часть — про пользу. Иногда отличить одно от другого бывает сложно, поэтому мы придумали простую шкалу критериев: c ee помощью можно буквально за минуту разобраться, насколько можно (или нельзя) доверять заявленным в кейсе результатам.
Критерии
Да
Нет
Как оценивался рост измеряемой метрики?
— «Было VS Стало»: 0 баллов
— A/B-тест, где соблюдено правило «1 гипотеза — 1 тест»: 1 балл
— Контрольная группа: 2 балла
— «Было VS Стало»: 0 баллов
— A/B-тест, где соблюдено правило «1 гипотеза — 1 тест»: 1 балл
— Контрольная группа: 2 балла
0
2
Раскрыты детали построения теста или контрольной группы?
1
0
Оценен и показан доверительный интервал?
1
0
Оцениваются именно оплаченные заказы?
1
0
Есть ли график или данные за сравнимые периоды из прошлого?
1
0
Зависит ли доход сервиса-автора кейса от продвигаемой метрики (например, CPO-модель)?
0
1
Результат обоснуется через большого количество трендовых терминов: искусственный интеллект, предиктивная аналитика, бигдата, нейросети, НЛП, нейропсихология, блокчейн.
0
1
Приведены ли исторические данные по оцениваемой метрике за предыдущие периоды?
1
0
Подтвержден ли кейс клиентом (отзыв, ФИО)?
1
0
Оценка полученного результата в баллах:
8 и более — это победа
5-7 – нормальный результат, можно брать
4 и меньше – лапша или сомнения
Проверим, как это работает на наших кейсах
Кейс компании 12Storeez Анализ роста проводился по принципу «Было vs Стало» (0 баллов) с детальной историей внедрения (1 балл). За три месяца работы с Mindbox доход Email-канала относительно общего дохода вырос почти в 2 раза (оценивается конечный статус заказа — 1 балл). Результаты графически подтверждены в кейсе (1 балл):
Текст структурированный и четкий, не содержит трендовых терминов, что облегчает понимание (1 балл). Положительный отзыв клиента подтверждает результаты работы, еще 1 балл. Привязан ли доход сервиса к продвигаемой метрики? Нет, не привязан (фиксированная подписка, никакиx CPO и success fees) — 1 балл. Суммируем, получаем итоговую оценку по шкале: 6. Проанализировали итоговую оценку по шкале, делаем выводы:
- кейсу можно верить;
- есть что улучшить: например измерять через контрольную группу.
Кейс компаний Shophair Анализ роста проводился с использованием контрольной группы (2 балла); детали построения теста раскрыты, также представлена история внедрения (1+1 = 2 балла).
Подведение результатов от действий сопровождается графиком, где наглядно изображена эффективность Email-канала до и после подключения Mindbox и по Google Analytics, и относительно контрольной группы. Согласно GA, Email-канал вырос в 2 раза всего за 3 месяца (1 балл). Описание результатов не содержит в себе трендовых и лишних терминов, информация структурирована и соответствует заявленным целям работы с метрикой (1+1=2 балла). Отзыв клиента подтверждает итоги работы, представленные в кейсе (1 балл). Доход сервиса от продвигаемой метрики не зависит — 1 балл. В результате получаем 10 баллов — epic win! Подведем итог оценки кейсов к наглядному виду:
Критерии
Балл 12Storeez
Балл Shophair
Как проводился анализ роста:
— «Было VS Стало»: 0 баллов
— A/B-тест, где соблюдено правило «1 гипотеза — 1 тест»: 1 балл
— Контрольная группа: 2 балла
— «Было VS Стало»: 0 баллов
— A/B-тест, где соблюдено правило «1 гипотеза — 1 тест»: 1 балл
— Контрольная группа: 2 балла
0
2
Раскрыты детали построения теста или контрольной группы?
0
1
Оценен и показан доверительный интервал?
0
1
Оцениваются именно оплаченные заказы?
1
1
Результаты графически подтверждены в кейсе?
1
1
Зависит ли доход сервиса от продвигаемой метрики?
1
1
Много трендовых терминов для обоснования результата (искусственный интеллект, предиктивная аналитика, бигдата, нейросети, НЛП) Результат обоснуется через большого количество трендовых терминов: искусственный интеллект, предиктивная аналитика, бигдата, нейросети, НЛП, нейропсихология, блокчейн.
1
1
Приведены ли исторические данные по оцениваемой метрике за предыдущие периоды?
1
1
Подтвержден ли кейс клиентом (отзыв, ФИО)?
1
1
Суммарный балл
6
10
Похоже, работает! Пробуйте методологию на других кейсах, и не забывайте написать нам про результаты: -)