Чек-лист для проведения АБ-тестов. Всего 5 шагов для получения объективной информации.
3 марта 2023
AB-тесты: как и зачем их проводить
AB-тесты: как и зачем их проводить
АВ-тест — это эксперимент, который помогает выбрать из нескольких похожих вариантов более эффективный. Например, из двух писем с разными заголовками — то письмо, у которого open rate выше.
Кажется, что тестировать надо только дорогостоящие нововведения вроде запуска рекламной кампании или вывода нового продукта на рынок. Но это не так. Даже незначительные изменения могут существенно повлиять на прибыль. Тестировать можно что угодно: алгоритмы рекомендаций, дизайн сайта, частоту рассылок и цвет кнопок в приложении.
В статье расскажем, как наши клиенты — «Лазурит», Kari и «Ароматный мир» — добились измеримого результата в деньгах с помощью АВ-тестов.
Для чего нужно АВ-тестирование
AB-тесты помогают увеличить метрики или, наоборот, отсеять неэффективные решения на раннем этапе. Обычно их проводят, чтобы улучшить уже работающие механизмы.
Возьмем для примера компанию, которая уже отправляет прибыльные рассылки своим клиентам. Чтобы увеличить прибыль, она тестирует разные изменения в рассылках: текст или алгоритм подбора рекомендаций. Результаты тестов помогают понять, нужно ли внедрять выбранные изменения или стоит поискать другие варианты. Кроме того, тесты исключают субъективность при принятии решений.
АВ-тесты помогают:
Увеличить средний чек покупок
Сеть мебельных магазинов «Лазурит» планировала увеличить средний чек клиентов с брошенной корзиной.
Для этого на сайте запустили попап со скидкой, который видели только те, кто положил в корзину товары на сумму до 17 000 ₽. Маркетологи ожидали, что попап увеличит средний чек не более чем на 5000 ₽, потому что клиенты не захотят тратить больше.
Тест подтвердил, что попап помогает увеличить средний чек, но его сумма стала неожиданностью. Клиенты, которые видели попап, в среднем тратили 99 955 ₽ вместо 17 000 ₽.
Попап на сайте предлагает скидку на заказ от 20 000 ₽ клиентам с низкой стоимостью корзины. Количество показов за 10 дней — 1164, средний чек после показа попапа — 99 955 ₽
Сократить расходы
Обувной ритейлер Kari планировал оптимизировать расходы на SMS-рассылки. Для этого компания протестировала конверсию SMS, отправленную трем разным группам клиентов. Содержание сообщения было одинаковым: «Купи обувь по суперцене, получи подарок до 2000 ₽», а условия отправки отличались:
- Группа А — отправили SMS всем.
- Группа В — исключили из рассылки клиентов с низкой вероятностью покупки, остальным отправили SMS.
- Группа С — не отправляли SMS.
Компания предполагала, что можно сократить расходы, если отправлять рассылки только тем, кто в них заинтересован.
В результате конверсия в заказ в группах А и В была одинаковой (3,2%) и выше, чем в группе C. Затраты на один заказ, которые включали в себя стоимость SMS, в группе В оказались ниже, чем в группе А. Компания оказалась права: если исключить из рассылки незаинтересованных клиентов, то можно сэкономить бюджет на рассылки, не потеряв в прибыли.
Группа А
Группа В
Группа С
Конверсия в покупку
3,2%
3,2%
2,9%
Затраты на один заказ, ₽
46 ₽
37 ₽
0 ₽
Тестирование SMS с подарком на 2000 ₽ подтвердило, что SMS нужно отправлять только тем, кому оно может быть интересно. Это помогает сэкономить бюджет, сохраняя выручку
Улучшить показатели рассылок
Интернет-магазин «Первый мебельный» хотел увеличить open rate реактивационной рассылки.
Для этого они протестировали разные варианты заголовков. Двум группам клиентов отправили письма одинакового содержания, но в заголовок одного добавили призыв к действию:
- «Возвращайтесь! Вы пропустили много интересного!»
- «Вы пропустили много интересного!»
Маркетологи предполагали, что призыв к действию будет мотивировать клиентов открыть письмо. Результаты теста подтвердили предположение: open rate реактивационной рассылки с призывом к действию на 25% выше, чем без него.
Реактивационная рассылка «Первого мебельного» с призывом к действию мотивирует клиентов открыть его
Увеличить продажи
«Галамарт» хотел увеличить конверсию рассылок в заказы. Для этого маркетологи провели тест, отправив одной группе клиентов письмо с подборкой рекомендуемых товаров, а второй — без нее.
Предполагалось, что письма с подборкой товаров лучше конвертируются в продажи, чем без них. Это оказалось не так: конверсия в заказ и средний чек у писем с подборкой ниже, чем без нее.
Клиент с большей вероятностью оформляет заказ, если получает одно предложение, потому что ему не нужно тратить время и силы на выбор.
Найти удобные для клиентов каналы коммуникации
Компания MelAnnett хотела выяснить, какой канал коммуникации с брендом самый удобный для клиентов.
Для этого двум группам клиентов отправили рассылку с разными предложениями: перейти на сайт или в мессенджер. Маркетолог предполагал, что клиентам удобнее общаться в мессенджерах, поэтому они будут переходить в них из рассылки.
Тест подтвердил гипотезу маркетолога: open rate писем был примерно одинаковый, а click rate у письма с кнопкой для перехода в мессенджер был на 0,3% выше.
Письмо с переходом в мессенджер: open rate — 9,5%, click rate — 1,8%
Письмо с переходом на сайт: open rate — 9,6%, click rate — 1,6%
Отсеивать неэффективные решения
«Лазурит» хотел увеличить количество заказов клиентов с дорогой брошенной корзиной.
Для этого компания обновила цепочку писем о брошенной корзине и протестировала ее. Из всей базы клиентов выделили сегмент с высокой стоимостью брошенной корзины (150 000–200 000 ₽), а потом разделили его на группы, чтобы отправить разные варианты писем.
Письмо в цепочке
Старый вариант
Новый вариант
№ 1
Без скидки
Со скидкой 2%
№ 2
Со скидкой 5% на весь заказ
Со скидкой 6000 ₽ на заказ от 150 000 ₽
Маркетологи предполагали, что обновленная цепочка увеличит количество заказов. Результат теста их удивил: новая коммуникация оказалась менее эффективной, чем старая. Выручка от одного отправленного письма до обновления составляла 175 ₽, а после — 85 ₽.
Если бы компания не провела АВ-тест, а сразу внедрила новую рассылку по всей базе клиентов, то потеряла бы выручку.
Что можно тестировать
Проводить тесты можно в любых каналах коммуникации: email- и SMS-рассылках, мобильных и вебпушах, попапах и встроенных блоках на сайте.
Обычно маркетологи тестируют:
- тему письма;
- наличие промокода;
- размер скидки;
- количество контента на странице;
- время отправки письма или появления попапа на сайте;
- наличие подборки рекомендаций в карточке товара
Это неполный список, потому что тестировать можно любые элементы, если кажется, что их изменение принесет выгоду. Главное — проводить тест поэтапно: например, в первом тесте добавить имя в тему рассылки и зафиксировать результаты, во втором тесте добавить следующее изменение и так далее, пока все идеи не будут проверены. Если сразу внести несколько изменений в старую версию, то нельзя будет точно сказать, что именно повлияло на улучшение показателей.
Приведем несколько примеров АВ-тестов наших клиентов.
Тема письма в рассылке
Маркетолог METRO проводит AB-тест каждой массовой рассылки, чтобы выбрать лучший вариант.
Для этого небольшую часть клиентской базы делят на три группы. Каждой группе отправляют одинаковые письма, которые отличаются только темой:
Варианты тем
Open rate
✂️ Цены пополам! −50% в письме
16,6%
🔪 Режем цены! Скидки от 50%
15,1%
Скидки от 50% на сотни товаров 🍤🍏🍉
13,9%
Через три часа маркетолог собирает результаты теста, чтобы выбрать письмо с самым высоким open rate. Письмо с темой «✂️ Цены пополам! −50%» победило в этом тесте, поэтому его отправляют на оставшуюся часть базы клиентов.
Имя клиента в вебпуше
12 STOREEZ тестировал обращение к клиенту по имени в вебпуше «Брошенный просмотр». Маркетологи были уверены, что имя клиента в пуше повысит click rate. Тест показал, что наличие имени никак не влияет на его показатели.
Вебпуш без имени: click rate — 2,3%
Вебпуш с именем клиента: click rate — 2%
Дизайн элементов сайта
Сеть винных супермаркетов «Ароматный мир» проверяла реакцию аудитории на изменения сайта. Для этого двум группам клиентов показывали разные варианты страницы: с новым и старым блоком корзины.
Маркетологи предполагали, что клиентам будет проще покупать и число заказов увеличится, если навести порядок в блоке «Итого». Тест подтвердил, что вариант с новым дизайном эффективнее: общий прирост конверсии сайта — 3,1%.
Старый вариант блока оформления заказов в корзине с лишними полями в блоке «итого»
Новый вариант блока оформления заказов в корзине с компактным дизайном
Добавление слова «игра» в текст SMS
Компания brand.ru проверяла конверсию двух вариантов текста SMS, которые отличались только одним словом — «к играм».
Для этого одной группе клиентов отправили старый вариант — «открыт доступ к brand.ru». Другой — новый вариант: о том, что им «открыт доступ к играм brand.ru».
Маркетологи предполагали, что клиентов привлекают игры, поэтому новый вариант SMS будет работать лучше. Идея не подтвердилась: конверсия нового варианта ниже, чем у старого.
Маркетологи протестировали новый вариант SMS, ожидая увеличения конверсии. Результаты показали, что конверсия старого письма без акцента на играх — 21%, а нового — всего 13%
Частота отправки рассылок
Decathlon тестировал изменение выручки от email-канала в зависимости от частоты рассылок.
Маркетологи предположили, что если отправлять две массовые рассылки в неделю вместо одной, выручка от email-канала повысится. Для теста выбрали две группы клиентов по 100 тысяч человек: одной отправляли одно письмо в неделю, другой — два.
В результате:
- У группы, которая получала одно письмо в неделю, open rate повысился, а процент отписок снизился.
- У группы, которая получала два письма, общие показатели эффективности снизились. Но группа принесла больше выручки, чем первая.
Компания приняла решение отправлять два письма в неделю всем подписчикам.
Виды АВ-тестирований
Чаще всего используют два варианта тестирования: с контрольной группой и без нее. Рассмотрим их подробнее на примере рассылки.
Без контрольной группы
При таком тестировании всех участников теста делят на группы, каждой из которых отправляют свой вариант рассылки. Затем эффективность вариантов сравнивают, чтобы выбрать лучший.
Схема АВ-тестирования без контрольной группы
«Первый мебельный» проверял, какой из видов рекомендаций принесет больше кликов и продаж. Одной части клиентов отправили письмо с автоматическими персональными рекомендациями на основе машинного обучения, а другой — с подборкой товаров, вручную собранной маркетологом.
В результате рассылка с автоматической подборкой оказалась эффективнее. Подстановка таких рекомендаций увеличивает click rate на ~6% и конверсию в заказы на 47%.
Тестирование с контрольной группой
При таком тестировании всех участников теста делят на группы: одним группам отправляют рассылку, а контрольной группе — нет. В рамках теста считается эффективность каждого варианта и сравнивается с контрольной группой. Это помогает измерить чистый эффект от рассылки, потому что иногда клиенты совершают целевое действие, даже не получая ее.
Схема АВ-тестирования с контрольной группой
Компания «Ароматный мир» предполагала, что письмо с напоминанием о заказе, который клиент сделал, но не забрал, поможет увеличить процент выкупленных заказов. Для проверки предположения провели тестирование с контрольной группой. Выяснилось, что получившие письмо клиенты не стали выкупать заказы чаще, чем участники, которые не получали это письмо.
ИТ-компания Jivo провела тест welcome-цепочки для новых клиентов. Компания предполагала, что конверсия в покупку платной версии вырастет на 11%, если клиенты узнают о продуктах и возможностях Jivo.
Для тестирования аудиторию разделили на равные части: одной отправили письмо, другой нет. Результаты теста подтвердили, что конверсия в подписку среди получателей рассылки на 35,5% выше, чем у тех, кто ее не получил.
Письма welcome-цепочки Jivo помогают привлечь больше клиентов
Как правильно провести AB-тестирование
Мы выделили этапы AВ-тестирования, которые нужно пройти, чтобы результат теста получился достоверным. В качестве примера мы используем АВ-тест email-рассылки, но план подходит для любых АВ-тестов: сайта, скриптов колл-центра, SMS.
Определить точку роста и метрику
Точка роста — это то, что хочется улучшить. Например, маркетолог заметил, что письмо с подборкой рекомендуемых товаров редко открывают, и хочет это исправить. Он может выбрать точкой роста улучшение этого письма.
Метрика — это то, в чем улучшение можно измерить. Под ней обычно понимают ключевые показатели бизнеса: объем продаж, выручку, чистую прибыль, количество посетителей, конверсию, средний чек. Для письма с подборкой рекомендуемых товаров метрикой может быть увеличение среднего чека. Это верный показатель для тестирования рассылок в e-commerce, но измерить его бывает сложно. В этом случае можно выбрать метрику, наиболее близкую к целевой — open rate, click rate.
Предположим, маркетолог из сегмента fashion захотел улучшить еmail-рассылку, а для измерения выбрал две метрики — open rate и click rate. Он отправил двум группам клиентов одинаковое письмо с разными темами: «Представляем вам новую „вкусную“ линейку от L’Oreal Paris» и «Узнайте, как сделать идеальные брови и выбрать блеск для губ».
В результате теста выяснилось, что письмо с интригующей темой о вкусной линейке открыли на 7% больше клиентов. Зато у письма с темой, раскрывающей содержание рассылки, было больше переходов на сайт.
Как предполагают в компании, причина в том, что тема с интригой привлекала нецелевых клиентов. Люди открывали письмо, но не переходили на сайт, так как содержание не соответствовало ожиданиям. Победителем выбрали тему с более высоким click rate, потому что переход на сайт может привести к продаже.
Результаты теста двух вариантов заголовка показали, что целевые клиенты предпочитают заголовки, которые соответствуют содержанию письма
Выдвинуть гипотезу
Определив точку роста и метрику, нужно выбрать элемент для тестирования. Если компания хочет увеличить click rate рассылки, она может выбрать для тестирования разные заголовки, темы, содержание или время отправки рассылки. Когда элемент выбран, выдвигается предположение о том, почему один вариант будет работать лучше другого:
Что тестируем
Предположение
Слово в теме письма
Слово «приз» привлекательнее для клиента, чем слово «подарок»
Изображение в письме
В email-поздравлении с 8 Марта изображения брутальных мужчин привлекут больше внимания, чем картинки с цветами
В итоговой гипотезе для АВ-теста объединяют предположение и метрику, чтобы было ясно, какой именно результат ожидают получить и доказать. Гипотезой нельзя считать вопрос «Приведет ли обращение по имени в письме к росту open rate?», потому что гипотезу надо сформулировать четко — «Обращение по имени в теме письма увеличит open rate на N процентов».
Изменение метрики можно спрогнозировать исходя из опыта маркетолога или предположить минимальный рост, ради которого стоит проводить тест. Для некоторых компаний даже 1% роста — это отличный результат, который стоит тестировать. Для других — лучше закладывать в гипотезу рост от 3%, потому что маленькое улучшение слабо повлияет на бизнес.
Примеры гипотез наших клиентов:
Гипотеза
Варианты тестирования
Метрика результата
Эмодзи в теме письма увеличивают открытия на 2%
С эмодзи и без эмодзи
Открываемость
Блок сопутствующих товаров в карточке товара увеличит средний чек на ~10%
С блоком сопутствующих товаров в карточке и без
Средний чек
Попап на сайте с бесплатной доставкой увеличит конверсию в заказ на 4%
С попапом и без попапа
Количество заказов и выручка
Рассчитать размер выборки
Размер выборки — это количество людей, которые должны поучаствовать в эксперименте. Правильный расчет выборки до запуска тестирования позволит вовремя выключить тест и получить достоверные результаты.
Если выборка рассчитана неправильно, есть риск выключить тест слишком рано или, наоборот, продолжать тест дольше, чем нужно. В первом случае результаты могут быть недостоверны, а значит, и решение будет неверным. Во втором — компания потратит ресурсы на тестирование, которое не принесет значимых результатов.
Размер выборки рассчитывается с помощью калькулятора АВ-тестов. В Mindbox есть бесплатный калькулятор, доступный всем. Он позволяет рассчитать выборку на основе трех цифр: количество тестируемых вариантов, размер старого показателя, процент улучшения.
Предположим, маркетолог решил протестировать два вида темы письма, чтобы выявить вариант с более высоким open rate. Для этого в калькулятор нужно ввести:
- Количество вариантов — два.
- Средний показатель — средний open rate отправленных ранее писем.
- Ожидаемый абсолютный прирост — разница между текущим и планируемым open rate письма после изменения.
Значения достоверности и мощности уже проставлены в калькуляторе по умолчанию, но их можно поправить. Вот для чего они нужны:
- Достоверность — это процент уверенности в результате, если тест показывает разницу между вариантами.
По умолчанию в калькуляторе стоит показатель 95%. В математической статистике это считается хорошим показателем достоверности, потому что ошибка маловероятна. Можно оставить это значение, а можно выбрать свой вариант. При значении 90% понадобится меньше людей для теста, но вероятность ошибки увеличивается до 10%. Цена таких ошибок отразится на прибыли компании, если распространить на всю базу неверное решение. При значении 99% вероятность ошибки будет минимальной, но понадобится больше людей и времени на проведение теста.
- Мощность — процент уверенности в результате, если тест покажет, что разницы между вариантами нет.
По умолчанию в калькуляторе стоит высокий показатель — 80%, который мы рекомендуем исходя из опыта наших клиентов. Он означает, что существует небольшая вероятность по ошибке отвергнуть лучший вариант письма.
После ввода данных калькулятор показывает, сколько людей должны увидеть каждый вариант, чтобы можно было доверять результату теста.
Калькулятор показывает, что для проведения тестирования двух вариантов темы письма и получения результата с достоверностью 95% необходимо отправить каждый вариант 2791 клиенту
Чтобы уменьшить количество клиентов для теста, можно немного снизить показатель достоверности до допустимых 90%:
При 90% достоверности понадобится на тысячу клиентов меньше, чем при достоверности 95%
Запустить тест
Перед запуском нужно создать варианты писем, отличающиеся друг от друга тестируемым элементом. Например, тема письма со смайликом или без.
Вариант А. В теме письма — смайлики
Вариант В. Тема письма без смайликов
Эти версии письма должны отправляться разным группам клиентов в случайном порядке. Это важно для получения достоверных результатов. Например, компания отправляет письмо с двумя разными заголовками двум группам клиентов, но в одной группе много лояльных покупателей, которые читают рассылки и делают покупки, а в другой группе — «спящая база», которая давно не открывает писем. В результате рассылка, которую отправили первой группе, покажет лучший результат, но это не будет связано с ее заголовком. Результаты теста окажутся ошибочными, и отправка «победившей» рассылки по всей базе клиентов может быть неприбыльным решением.
Для проверки верности распределения получателей на группы можно провести АА-тест. Это эксперимент, в котором двум группам клиентов отправляют одинаковые варианты. Если результаты вариантов отличаются, значит, группы распределены неверно. Возможно, в одной из них клиенты более лояльны к бренду, чем в другой. Для экономии времени можно объединить АА- и АВ-тест. Такие тесты называют ААВ-тестами: двум группам подписчиков отправляют старый вариант рассылки, а третьей — новый.
Компания «Лазурит» проверяла с помощью ААВ-теста, как изменится open rate рассылки в зависимости от вида скидки: в процентах или в деньгах. Двум группам клиентов отправили письмо со скидкой 5%, третьей группе — со скидкой 3000 ₽. Open rate одинаковых писем в двух группах не сильно отличался друг от друга, а в третьей группе был значительно выше. Это доказало случайное распределение клиентов и верность эксперимента.
Проанализировать результаты
По окончании тестирования надо выбрать победителя на основе результатов и статистической значимости теста, которая покажет, насколько ему можно доверять. Вручную считать ее довольно сложно, поэтому быстрее и проще воспользоваться калькулятором достоверности АВ-тестирования.
Калькулятор Mindbox подводит итоги тестирования на основе следующих данных:
- количество вариантов — сколько вариантов писем тестировали;
- число конверсий — сколько клиентов, которым отправили письмо, совершили целевое действие (в наших примерах — открыли его);
- размер выборки — скольким клиентам было отправлен каждый тестируемый вариант, в нашем случае — письма.
Калькулятор выявляет вариант-победитель, который можно использовать для отправки всем остальным клиентам.
Результаты теста, в котором мы на 95% уверены, что разница между вариантами есть и вариант В лучше варианта А
AВ-тесты в Mindbox
В Mindbox можно тестировать рассылки, элементы сайта, акции и алгоритмы рекомендаций. Для этого определяются целевое действие, размер выборки и желаемый рост конверсии.
Это делается внутри интерфейса, который позволяет:
- корректно распределять участников тестирования по группам;
- автоматически сравнивать показатели и выявлять вариант-победитель.
Несколько интересных возможностей:
Тестирование элементов внутри сценария рассылки
Если рассылка состоит из цепочки писем, которые отправляются последовательно, в Mindbox можно запустить тестирование писем внутри этой цепочки. Для этого в сценарии создается отдельная ветка для АВ-тестирования конкретного элемента. Например, клиент положил товары в корзину и ушел с сайта. По стандартному сценарию ему отправляют триггерную рассылку «брошенная корзина». Если добавить в этот сценарий АВ-тест, то клиенты с брошенной корзиной будут разделяться на группы, каждой из которых будет отправлен один из тестируемых вариантов письма.
Пример создания сценария с тестом в интерфейсе Mindbox. Клиент положил товары в корзину и ушел с сайта — это событие, после которого ему отправляют рассылку. Механизм тестирования разделит клиентов после события на группы и отправит каждой один из вариантов рассылки
«Лазурит» тестировал цепочку «брошенная корзина» из двух писем. Вначале протестировали первое письмо цепочки. Для этого двум группам клиентов отправили варианты письма: со скидкой 5% и без нее.
Во втором письме цепочки тестировали влияние нестандартной темы письма на open rate. Вариант с нестандартной темой показал лучшие результаты.
Тема
Open rate
В вашей корзине остались товары
31,2%
Единорог взломал систему и подарил вам СКИДКУ
39,4%
Это помогло компании подобрать наилучший вариант цепочки о брошенной корзине: первое письмо со скидкой, второе — с эмоциональной темой. Эту цепочку рассылают всей базе клиентов.
Варианты 1 и 2. Старая версия письма без скидки напоминает о товарах в корзине. Click rate — 9 и 10,5%
Вариант 3. Новая версия письма предлагает скидку 5% на заказ от 20 000 ₽. Click rate — 13,4%
Варианты второго письма цепочки отличались друг от друга только темой
Тесты в персонализации сайта
Mindbox позволяет протестировать не только содержание попапов или других блоков на сайте, но и выбрать лучшее время для их показа.
Бренд обуви Birkenstock с помощью АВ-теста подобрал лучшее время для показа попапа на сайте. Половине клиентов показывали попап через 15 секунд нахождения на сайте, второй — через 30.
Выиграл попап, который появлялся на сайте через 30 секунд: коэффициент транзакций — 3,07%, против коэффициента 15-секундного варианта — 2,21%.
Зачем тестировать абсурдные гипотезы
АВ-тесты стоит проводить, даже когда маркетолог на 100% уверен, что изменения продукта повысят продажи. Рассмотрим самые неожиданные итоги тестов наших клиентов.
Письмо с опросом приносит больше продаж, чем промокод
Tefal протестировал два варианта реактивационного письма для клиентов, которые еще ничего не покупали: опрос или промокод на первую покупку. Тест показал, что у письма с опросом конверсия в заказ выше в 3,1 раза. Такой тест помог компании сэкономить на ненужных промокодах.
Опрос помогает узнать, почему покупатель не совершил покупку, и выстроить с ним диалог
Письмо с промокодом не сильно мотивирует новых клиентов на покупки
Меньший размер скидки привлекает больше клиентов
Dostavista протестировала два варианта скидки: 49% и 55% в рассылке. Отслеживали не click rate, а CTOR — отношение кликов к открытым письмам.
Компания предполагала, что бо́льшая скидка будет эффективнее меньшей. Оказалось, что CTOR со скидкой в 49% выше: 3,09% против 2,69%. Этот результат компания объясняет только эффектом неожиданности.
Вывод по результатам теста: чем нетривиальнее скидка, тем выше CTOR — можно предлагать клиентам меньшую скидку, но в неожиданном виде.
Dostavista предлагает клиентам скидку, чтобы повысить продажи. АВ-тесты подтвердили, что скидка 49% работает лучше, чем 55%
Маркетинг — процесс непрерывного тестирования и улучшения результатов. Поэтому никому не верьте — тестируйте любые гипотезы, даже самые необычные. И наоборот: если вам говорят, что инструмент безусловно эффективен, не верьте на слово — протестируйте его в своей компании. Для каждого сегмента, для каждого бизнеса результат теста будет свой. Если пришли в новую сферу деятельности, поменяли направление — тестируйте заново все то, что тестировали раньше. То, что не работало в одном бизнесе, может работать в другом, и наоборот.
