«Фоксфорд» проводит AB-тесты большинства рассылок. Благодаря этому средний open rate писем вырос на 5 п.п. за четыре месяца. В материале — шесть AB-тестов на open rate с результатами: здесь и гипотезы, которые помогли повысить прокси-метрики, и идеи, которые провалились.
13 мая 2024
+ 5 п. п. к open rate за 4 месяца. Подборка AB-тестов «Фоксфорда» в email-канале
«Фоксфорд» проводит AB-тесты большинства рассылок. Благодаря этому средний open rate писем вырос на 5 п. п. за четыре месяца. В материале — шесть AB-тестов на open rate с результатами: здесь и гипотезы, которые помогли повысить прокси-метрики, и идеи, которые провалились.
Результаты
-
+5 п. п.к среднему open rate
Сравниваются показатели на старте тестирования в декабре 2023 года и через четыре месяца регулярных AB-тестов — в марте 2024 года
Средний open rate
Как проводят AB-тесты
Выбор гипотезы. В «Фоксфорде» используют два источника:
- Опыт других компаний. В основном перенимают идеи из других отраслей и адаптируют под специфику бизнеса.
- Идеи, сработавшие на части аудитории. Аудиторию «Фоксфорда» можно условно разделить на три группы: учителя, родители и школьники. Также можно выделить подгруппы по классам: подготовительные, начальные, средние и старшие классы. Если какой-то креатив хорошо показал себя на части аудитории, его масштабируют на других подгруппах. Например, родители младшеклассников хорошо отреагировали на тему с пометкой «бесплатно» — значит, гипотезу можно проверить на аудитории средних и старших классов.
Проверка сегмента. На калькуляторе Mindbox рассчитывают размер выборки, необходимый для теста: указывают ожидаемый абсолютный прирост, количество вариантов, достоверность, мощность и средний показатель — получают количество участников, необходимое для статистически значимого результата. Если сегмент для рассылки сильно меньше этого результата, от теста отказываются.
В компании собирались проводить тесты также для B2B-сегмента, но, посчитав выборку, передумали. Для статистически значимого результата нужна выборка не менее 10 тысяч, а в сегменте B2B только 3 тысячи подписчиков
Запуск теста. Все тесты проводят в Mindbox. Если рассылку нужно отправить как можно скорее, например, чтобы рассказать клиентам о короткой акции, запускают классический AB-тест с распределением аудитории по 50% на вариант.
Для большинства тестов используем распределение аудитории 50 на 50. Их удобнее настраивать в обновленном функционале AB-тестов: база автоматически разделяется поровну, время тестирования можно настроить вручную.
Сразу описываем гипотезу — это пригодится, когда будем подводить итоги теста. Также фиксируем дополнительные метрики: мы всегда смотрим на delivery rate, unsub rate и spam rate и, если есть отклонения, разбираемся, в чем дело. Например, если у письма высокий click rate, но при этом большой процент отписок, мы не можем сделать вывод, что призыв к действию и само письмо отработали хорошо.
В новых AB-тестах Mindbox аудитория автоматически разделяется поровну по всем вариантам — при необходимости распределение можно изменить
Если рассылку необязательно отправлять в этот же день, запускают тесты с письмом-победителем. Сегмент получателей разделяется на три группы: 25% клиентов получают вариант A, другие 25% — вариант B, оставшаяся половина сегмента получает лучший вариант письма.
Фиксация результата. Завершенные AB-тесты переносят в базу знаний: описывают гипотезу, которую проверяли, сегмент и полученный результат. Это помогает масштабировать выигрышные гипотезы и не повторять тесты, которые уже несколько раз не дали результата.
Библиотека AB-тестов хранится в Notion, к которому есть доступ у всего CRM-отдела
Тесты для роста open rate
Чаще всего в «Фоксфорде» тестируют тему письма. На подготовку таких тестов уходит минимум ресурсов, при этом они помогают увеличивать open rate и, как следствие, конверсию в воронке. А вместе с ней — выручку.
Имя получателя
Примерно половина пользователей указывают имена в личном кабинете — они передаются в Mindbox, и их можно использовать в рассылках. «Фоксфорд» решил проверить, как клиенты отреагируют на обращение по имени в теме письма.
Для рассылки выбрали пользователей, которые указывали имена в личном кабинете. Валидность имен проверяли встроенным фильтром Mindbox. Первую тестовую рассылку отправили ученикам 8–9-х классов.
Гипотеза: если указывать в теме письма имя получателя, open rate будет выше.
Гипотеза подтвердилась: имя получателя в теме письма повысило open rate.
Вариант
Open rate
Как не бояться будущего 🙀 5 ночей с ОГЭ
16,8%
Ксения, как не бояться будущего 🙀 5 ночей с ОГЭ
17,3%
Достоверность теста — 95%
Гипотезу повторно проверили на учениках 10–11-х классов. Получили аналогичный результат — письмо с именем открывали лучше.
Вариант
Open rate
Как поступить в вуз в 2024-м: узнайте на бесплатном вебинаре
19,4%
Ксения, как поступить в вуз в 2024-м: узнайте на бесплатном вебинаре
21%
Достоверность теста — 95%
После теста имя получателя стали использовать активнее: теперь его добавляют в приоритетные рассылки, например в письма welcome-цепочки или рассылки с персональными офферами. Однако стараются делать так не слишком часто, чтобы аудитория не привыкала.
Призыв к действию
Пользователям, которые не подтвердили почту, отправляют напоминание. Чтобы это письмо лучше открывали, в теме явно обозначили, что именно нужно сделать клиенту.
Гипотеза: если в сервисном письме поставить призыв к действию, open rate будет выше.
Гипотеза подтвердилась: письмо с призывом к действию открывали чаще.
Вариант
Open rate
Один клик — и мы вместе 💌
8,8%
Подтвердите email и взгляните на учебу по-новому!
9,6%
Достоверность теста — 95%
Мы предполагаем, что тема с призывом работает лучше, потому что клиент сразу понимает: это сервисное письмо и нужно что-то сделать. Поэтому после теста во всех письмах, где от клиента требуется одно простое действие, в теме прямо об этом говорим.
На обычные рассылки гипотезу масштабируем с осторожностью: глаголы стали использовать чаще, но в каждой рассылке измеряем результат и сравниваем с обычным вариантом темы. Пока темы с глаголами работают лучше других.
Сленг и локальные шутки
Большая часть нашей аудитории — дети. У них свой сленг и юмор. Мы решили проверить, как аудитория отреагирует на то, что мы пытаемся общаться на их языке.
Первую тестовую рассылку с неформальной темой отправили на сегмент старших школьников — учеников 10–11-х классов.
Гипотеза: если в теме письма использовать подростковый сленг, open rate будет выше.
Гипотеза не подтвердилась: письмо с неформальной темой открывали реже, чем с обычной.
Вариант
Open rate
ЕГЭ-бинго: узнайте, какой формат подготовки вам нужен
16,4%
ЕГЭ на изи: узнайте, какой формат подготовки вам нужен
13,8%
Достоверность теста — 95%
Похожую рассылку проверили на аудитории помладше — учениках 8–9-х классов. Результат тот же.
Вариант
Open rate
ОГЭ-бинго: узнайте, какой формат подготовки вам нужен
14,9%
ОГЭ на изи: узнайте, какой формат подготовки вам нужен
13,2%
Достоверность теста — 95%
Чтобы убедиться, что проблема не конкретно в этой теме, провели еще один тест. Письмо с неформальной темой снова отработало хуже.
Вариант
Open rate
Бесплатный урок английского: приходите за разговорной практикой
19,6%
Bicycle или бикукле: еще больше разговорной практики по английскому
18,9%
Достоверность теста — 95%
В «Фоксфорде» поняли, что сленг и локальные шутки не нравятся аудитории, и перестали их использовать.
Пометка «бесплатно»
Мы заметили, что родители младшеклассников больше интересуются бесплатными предложениями. Решили проверить, повлияет ли на открытия отметка «бесплатно» в теме письма.
Гипотеза: если в теме письма явно прописать, что предложение бесплатное, open rate будет выше.
Гипотеза подтвердилась: лучше открывали письмо, в котором явно обозначали, что предложение бесплатное.
Вариант
Open rate
Топ-5 развлечений в «Фоксфорде» 🤩 Узнайте, чем может заняться ребенок
10%
Бесплатная экскурсия по «Фоксфорду» 😍 Узнайте, чем заняться с ребенком
12,4%
Достоверность теста — 95%
В письмах для начальных классов гипотезу взяли на вооружение: теперь, если предложение бесплатное, акцентируем на этом внимание. Будем снова проводить тесты, чтобы понять, как на это же изменение отреагируют ученики средних и старших классов и их родители.
Отправитель — Мистер Фокс
Мистер Фокс — маскот, которого используют в рассылках для младших школьников и их родителей. Он знаком аудитории, поэтому решили указать его в качестве отправителя рассылки.
Гипотеза: рассылки от Мистера Фокса повысят open rate в сегменте начальной школы.
Гипотеза подтвердилась: письмо от Мистера Фокса открывали чаще.
Вариант
Open rate
Фоксфорд
12,3%
Мистер Фокс
13,2%
Достоверность теста — 95%
Мы проведем еще несколько тестов, чтобы убедиться, что это не просто эффект новизны. Если новые тесты покажут такой же результат, стандартным именем отправителя для сегмента начальной школы станет «Мистер Фокс».
Креатив, проблема или продукт
Копирайтеры периодически предлагают нестандартные темы. Например, предлагают назвать проблему: «стресс перед экзаменами», «сложно начать учиться после каникул» и т. д. Или проявить креатив, например добавить в тему крик «Не хочу в школу!» Как аудитория воспринимает такие эксперименты, проверяли с помощью теста.
Гипотеза: один из вариантов темы — креативная, с описанием проблемы или продукта — будет приносить больший open rate.
Гипотеза не подтвердилась: после серии тестов однозначной разницы между вариантами не увидели.
На сегменте учеников средней школы сравнивали креативную тему и вариант с названием курса. Статистически значимой разницы не получили.
Вариант
Open rate
О, вы из Англии: узнайте, где вам реально поможет английский
10,1%
Бесплатный email-курс: узнайте, где вам реально поможет английский
10%
Достоверность теста — 95%
Однажды все же письмо с креативной подачей темы выиграло у варианта с описанием проблемы. Такой результат получили в тесте на родителях младшеклассников. Но в других тестах на той же аудитории результат не повторялся, поэтому тест посчитали непоказательным.
Вариант
Open rate
Нужен ли ребенку репетитор: на что обратить внимание
12,2%
«Не хочу в школу!» Как понять, нужен ли ребенку репетитор
12,6%
Достоверность теста — 95%
На сегменте средней школы мы проводили несколько тестов, попарно сравнили три варианта: креатив, описание проблемы и упоминание продукта. В большинстве тестов статистически значимой разницы не увидели. Решили не ограничивать копирайтеров, чтобы они могли выбирать темы по собственному усмотрению.
Бонус: четыре теста содержания писем для роста click rate
После увеличения open rate в «Фоксфорде» сфокусировались на следующем этапе воронки — click rate, и для этого экспериментируют с содержанием писем. В планах — поставить такие тесты на поток и добиться роста метрики. Приводим несколько интересных гипотез.
Десять кнопок против двух
Обычно в письмах о нескольких продуктах ставим одну или две кнопки, которые ведут на общий лендинг, — там пользователь выбирает, что ему нужно. Мы решили сократить клиентский путь и сделали для каждого курса отдельную кнопку, которая ведет на его лендинг. Предположили, что пользователи будут активнее кликать, когда у них есть выбор.
Тест проводили на сегменте преподавателей.
Гипотеза: у письма с десятью кнопками и выбором конкретного курса будет больший click rate, чем у письма с двумя кнопками.
Гипотеза подтвердилась: письмо с большим количеством кнопок сработало лучше.
Вариант 1. 10 кнопок — каждая ведет на страницу продукта
Вариант 2. Две кнопки ведут на единый лендинг
Вариант
Click rate
Множество кнопок
1,2%
Обычное количество кнопок
0,7%
Достоверность теста — 95%
Преподаватели лучше взаимодействовали с письмом, когда в нем был выбор курса. Но вполне возможно, что это связано со специализацией: учитель математики видел блок «Математика» с кнопкой «Перейти к курсу» и понимал, что там точно будет что-то интересное. Абстрактная кнопка «Выбрать курс» такого эффекта не дает — неизвестно, будет ли там интересный курс.
Будем осторожно масштабировать гипотезу: протестируем ее снова на сегменте преподавателей, а также проведем несколько тестов на учениках и их родителях.
Развлекательный контент против продающего
Мы предположили, что сможем лучше вовлекать аудиторию, если стандартные продающие письма заменим на развлекательные. Для этого подготовили большое развлекательно-обучающее письмо «Превратите готовку салата в увлекательный урок английского».
Вместе с методистами собрали пошаговую инструкцию со списком ингредиентов на английском и фразами, которые можно использовать во время готовки. Дизайнеры подготовили карточки для игры «мемори», которые можно распечатать. Получилось длинное и необычное письмо
В тесте сравнивали его со стандартной продающей рассылкой.
Гипотеза: у письма с развлекательным контентом click rate будет выше, чем у продающего.
Тест не набрал статистической значимости: получатели одинаково реагировали на обычное письмо и обучающе-развлекательное.
Вариант 1. Большое обучающе-развлекательное письмо (фрагмент)
Вариант 2. Обычное продающее письмо
Вариант
Click rate
Обучающе-развлекательное письмо
0,1%
Обычное продающее письмо
0,1%
Достоверность теста — 95%
Тест проверяли на двух аудиториях: родителях дошкольников и родителях учеников 1–4-х классов. Оба теста не набрали статистической значимости. Мы сделали вывод, что масштабировать идею со сложными письмами не нужно: их подготовка отнимает слишком много ресурсов, но не приносит значимого результата.
Один продукт против нескольких
В «Фоксфорде» есть три формата подготовки к экзаменам: занятия в группах, в мини-группах и обучение с репетитором. Для части аудитории предпочтительный формат известен: для этого анализируют активность на сайте и взаимодействие с рассылками, проводят опросы. Таким клиентам сразу отправляют рассылку о предпочтительном формате обучения. Для аудитории, предпочтения которой неизвестны, проводили тест.
Раньше клиентам, чьи предпочтения неизвестны, отправляли письмо со всеми доступными форматами обучения. Но недавно предположили, что, возможно, клиент теряется от обилия вариантов и не выбирает ничего.
Чтобы проверить это, запустили тест: отправляли четыре варианта письма — три были посвящены одному продукту, четвертое — сборное.
Гипотеза: письмо с одним продуктом получит больший click rate, чем сборное письмо со всеми продуктами.
Результат неоднозначный: тест повторяли на разных сегментах по классам. В большинстве случаев не было статистической значимости, иногда побеждал сборный вариант, а иногда — с одним продуктом.
Вариант 1. Сборное письмо обо всех продуктах «Фоксфорда»
Вариант 2. Письмо об обучении в мини-группах
Вариант 3. Письмо об обучении с репетитором
Вариант 4. Письмо о курсах
Сделали вывод, что письма с одним продуктом не работают лучше, а значит, использовать их нет смысла — так мы только ограничиваем выбор. Сейчас пользователям, чьи интересы неизвестны, отправляем сборные письма, чтобы рассказывать обо всех продуктах.
Креативный призыв к действию против обычного
Мы предположили, что необычный призыв к действию в письмах увеличит click rate. Гипотезу тестировали на креативных рассылках, в которых необычные кнопки уместны.
Гипотеза: письмо с креативным призывом к действию получит больший click rate, чем обычное письмо.
Тест не набрал статистической значимости: необычный призыв к действию не увеличил click rate.
Вариант 1. Стандартный CTA
Вариант 2. Креативный CTA
Вариант
Click rate
Стандартный CTA
0,1%
Креативный CTA
0,1%
Достоверность теста — 95%
Гипотезу проверили повторно в другой рассылке и получили тот же результат. Теперь необычный призыв к действию в письмах не используют.
P. S. В этой истории мы рассказывали о нашем продукте Рассылки. Узнайте о продуктах подробнее на их страницах или в разговоре с консультантом.
