Используя шкалу для оценки конверсии от Mindbox, можно буквально за минуту разобраться, насколько можно (или нельзя) доверять заявленным в кейсе результатам.
23 ноября 2017
Как отличить кейс здорового человека от кейса курильщика: универсальная шкала для оценки
Как отличить кейс здорового человека от кейса курильщика: универсальная шкала для оценки
Интернет перенасыщен кейсами по росту конверсии через разные способы персонализации — от триггерных рассылок до а/б тестирования различных рекомендательных платформ. Часть из них — про «лапшу на ушах», часть — про пользу. Иногда отличить одно от другого бывает сложно, поэтому мы придумали простую шкалу критериев: c ee помощью можно буквально за минуту разобраться, насколько можно (или нельзя) доверять заявленным в кейсе результатам.
Критерии
Да
Нет
Как оценивался рост измеряемой метрики?
— «Было VS Стало»: 0 баллов
— A/B-тест, где соблюдено правило «1 гипотеза — 1 тест»: 1 балл
— Контрольная группа: 2 балла
— «Было VS Стало»: 0 баллов
— A/B-тест, где соблюдено правило «1 гипотеза — 1 тест»: 1 балл
— Контрольная группа: 2 балла
0
2
Раскрыты детали построения теста или контрольной группы?
1
0
Оценен и показан доверительный интервал?
1
0
Оцениваются именно оплаченные заказы?
1
0
Есть ли график или данные за сравнимые периоды из прошлого?
1
0
Зависит ли доход сервиса-автора кейса от продвигаемой метрики (например, CPO-модель)?
0
1
Результат обоснуется через большого количество трендовых терминов: искусственный интеллект, предиктивная аналитика, бигдата, нейросети, НЛП, нейропсихология, блокчейн.
0
1
Приведены ли исторические данные по оцениваемой метрике за предыдущие периоды?
1
0
Подтвержден ли кейс клиентом (отзыв, ФИО)?
1
0
Оценка полученного результата в баллах:
![](https://image.mindbox.ru/draw/c0d9d466-1bfb-4ef4-8964-ae6dbb870b44.jpg/-/size/1600/webp/1)
8 и более — это победа
![](https://image.mindbox.ru/draw/87bebf20-1daa-430e-9a14-af689bd176eb.jpg/-/size/1600/webp/1)
5-7 – нормальный результат, можно брать
![](https://image.mindbox.ru/draw/db125458-720c-4563-aafa-06191f72d81c.jpg/-/size/1600/webp/1)
4 и меньше – лапша или сомнения
Проверим, как это работает на наших кейсах
Кейс компании 12Storeez Анализ роста проводился по принципу «Было vs Стало» (0 баллов) с детальной историей внедрения (1 балл). За три месяца работы с Mindbox доход Email-канала относительно общего дохода вырос почти в 2 раза (оценивается конечный статус заказа — 1 балл). Результаты графически подтверждены в кейсе (1 балл):
![](https://image.mindbox.ru/draw/efea282a-94e8-43a9-bf07-1be80b71f214.png/-/size/1600/webp/1)
Текст структурированный и четкий, не содержит трендовых терминов, что облегчает понимание (1 балл). Положительный отзыв клиента подтверждает результаты работы, еще 1 балл. Привязан ли доход сервиса к продвигаемой метрики? Нет, не привязан (фиксированная подписка, никакиx CPO и success fees) — 1 балл. Суммируем, получаем итоговую оценку по шкале: 6. Проанализировали итоговую оценку по шкале, делаем выводы:
- кейсу можно верить;
- есть что улучшить: например измерять через контрольную группу.
Кейс компаний Shophair Анализ роста проводился с использованием контрольной группы (2 балла); детали построения теста раскрыты, также представлена история внедрения (1+1 = 2 балла).
![](https://image.mindbox.ru/draw/fce995f1-c32a-4a46-9632-9e0d32603067.png/-/size/1600/webp/1)
Подведение результатов от действий сопровождается графиком, где наглядно изображена эффективность Email-канала до и после подключения Mindbox и по Google Analytics, и относительно контрольной группы. Согласно GA, Email-канал вырос в 2 раза всего за 3 месяца (1 балл). Описание результатов не содержит в себе трендовых и лишних терминов, информация структурирована и соответствует заявленным целям работы с метрикой (1+1=2 балла). Отзыв клиента подтверждает итоги работы, представленные в кейсе (1 балл). Доход сервиса от продвигаемой метрики не зависит — 1 балл. В результате получаем 10 баллов — epic win! Подведем итог оценки кейсов к наглядному виду:
Критерии
Балл 12Storeez
Балл Shophair
Как проводился анализ роста:
— «Было VS Стало»: 0 баллов
— A/B-тест, где соблюдено правило «1 гипотеза — 1 тест»: 1 балл
— Контрольная группа: 2 балла
— «Было VS Стало»: 0 баллов
— A/B-тест, где соблюдено правило «1 гипотеза — 1 тест»: 1 балл
— Контрольная группа: 2 балла
0
2
Раскрыты детали построения теста или контрольной группы?
0
1
Оценен и показан доверительный интервал?
0
1
Оцениваются именно оплаченные заказы?
1
1
Результаты графически подтверждены в кейсе?
1
1
Зависит ли доход сервиса от продвигаемой метрики?
1
1
Много трендовых терминов для обоснования результата (искусственный интеллект, предиктивная аналитика, бигдата, нейросети, НЛП) Результат обоснуется через большого количество трендовых терминов: искусственный интеллект, предиктивная аналитика, бигдата, нейросети, НЛП, нейропсихология, блокчейн.
1
1
Приведены ли исторические данные по оцениваемой метрике за предыдущие периоды?
1
1
Подтвержден ли кейс клиентом (отзыв, ФИО)?
1
1
Суммарный балл
6
10
Похоже, работает! Пробуйте методологию на других кейсах, и не забывайте написать нам про результаты: -)