История SEMrush: как автоматизировали коммуникации в международном маркетинговом сервисе

Этот кейс необычный: он написан самим клиентом как история о работе SEMrush и Mindbox от первого лица. Передаем слово Анастасии Армеевой, экс-руководителю email-маркетинга SEMrush.

Кем и для кого написана эта статья

Будем честны, Mindbox — достаточно специфический продукт, а мы — достаточно специфические его пользователи.
Для начала немного о нас. Мы — команда email-маркетинга SEMrush. Наша компания является одним из мировых лидеров на рынке решений для автоматизации online visibility. Каждый день в нашей базе появляется несколько тысяч новых пользователей, а суммарно у нас уже больше 4 миллионов клиентов из разных стран. У нас в команде 7 человек, и мы шлем рассылки на десяти языках. На семерых мы свободно владеем тремя из них.
Миссия нашей компании — делать онлайн-маркетинг лучше. Продукт SEMrush призван дать маркетологам возможность улучшить их ежедневную работу путем внедрения новых технических решений и экспериментов. В работе нашей команды мы также придерживаемся этих принципов. О философии нашего email-маркетинга можно подробнее узнать здесь, а в этой статье мы расскажем про технический аспект нашей работы.
В нашей компании принято стремиться к кросс-функциональности и тому, чтобы команда могла выполнять максимально широкий спектр задач в рамках цикла производства своего внутреннего продукта. Многие мои коллеги по команде — боги экселя, некоторые умеют писать SQL-запросы и даже простые скрипты на питоне, некоторые владеют photoshop’ом. Ну и, само собой разумеется, у нас есть постоянная потребность в реализации сложной логики в отправке сообщений. Поэтому мы используем Mindbox.

Как мы выбирали платформу

Было бы неэтичным умолчать данный факт из биографии автора этой статьи, поэтому считаю необходимым чистосердечно признаться: до SEMrush я работала в Mindbox.
Однако я совершенно не была готова ввязываться в интеграции ради интеграций ценой эффективности своей новой команды. Кроме того, тащить на новое место работы бывших коллег в роли вендора — достаточно неловкая ситуация для любого нормального человека.
В конечном итоге мы перешли на Mindbox, и произошло это исключительно по той причине, что функционал нашего прежнего рассыльщика (не будем тыкать пальцем) не позволял нам воплотить и 30% наших смелых маркетинговых фантазий.
Я долго тянула с решением, пытаясь найти аргументы в пользу сохранения status-quo, и не находила. Даже в последний день все ещё оставались некоторые опасения. Мы были очень воодушевлены перспективой новых технических возможностей, но вместе с тем для моей команды это было шагом в неопределенность. Моя коллега сравнила это состояние с последним звонком (на фото ниже мы празднуем переход на Mindbox):
Команда
Забегая вперед скажу, что за этот год мы не пожалели ни разу.

Персонализированная коммуникация своими руками

SEMrush — платформа для digital-маркетологов всех мастей от SEO-специалистов до SMM-щиков. Таким образом, на момент отправки первого письма welcome-цепочки нам нужно определить, к какому из наших основных направлений продукта относится конкретный пользователь.
Данные об активности на разных инструментах у нас были всегда, но для этой цели они не годились. Во-первых, часть из них агрегируется посуточно из соображений совместимости с понятийным аппаратом нашей команды аналитиков. Во-вторых, в рамках первой сессии большое количество пользователей в принципе не совершают соответствующих действий. При этом решить, что отправлять в первом письме, нужно в первый час после регистрации пользователя.
Кроме того, до Mindbox передача любых дополнительных данных упиралась в разработку. Даже установка трекера на фронте сайта — это тикет на программистов (не говоря уже о том, что наша разработка в принципе очень настороженно относится к самому факту интеграции скриптов сторонних сервисов в код сайта из соображений секьюрности). Про передачу чего-либо с бэкенда я вообще молчу.
Благодаря интеграции с Mindbox через GTM теперь мы можем настроить передачу любых данных с фронта сайта силами своей команды.
Например, для определения сферы интересов пользователя мы используем данные о событиях на разводной странице сайта и выбор в левом меню продукта:
Определение сферы интересов
Таким образом, на момент отправки первого письма для значительной части пользователей мы знаем сферу профессиональных интересов. Письма выглядят почти одинаково, но ссылки в них разные и ведут на разные статьи, инструменты и вебинары, что становится возможным благодаря функционалу шаблонизатора:
Одна ссылка в письме «под капотом» имеет разветвленную систему условий — в зависимости от того, к какому сегменту интересов принадлежит клиент
Одна ссылка в письме «под капотом» имеет разветвленную систему условий — в зависимости от того, к какому сегменту интересов принадлежит клиент
Через несколько дней мы уже можем отметить прогресс пользователя в изучении нашего продукта:
Таким письмо видит пользователь
Таким письмо видит пользователь
А так письмо видит маркетолог, который в шаблонизаторе может настраивать условия показа контента в зависимости от сегмента пользователя
А так письмо видит маркетолог, который в шаблонизаторе может настраивать условия показа контента в зависимости от сегмента пользователя

Пара слов о важности контрольной группы

Помимо моей деятельности в роли лида команды email-маркетинга, я также являюсь owner’ом кросс-командного и кросс-канального проекта по упорядочению Customer Journey. В этой связи мне важно не просто находить эффективные сценарии в рамках своего канала, но и получать в процессе экспериментов универсальные знания, которые можно было бы более или менее обоснованно экстраполировать на реальность за пределами конкретных писем. В качестве иллюстрации этой мысли хочу привести недавний пример.
У нас в продукте есть инструмент MyReports. Это сугубо вспомогательный инструмент, который позволяет объединить отчеты из других инструментов и визуализировать/выгрузить их в формате красивого документа. Известно, что доля пользователей на платной подписке среди пользователей MyReport существенно выше, чем среди тех, кто инструмент не использовал. В то же время, причинно-следственная связь тут совершенно неясна: то ли инструмент каким-то образом стимулирует к покупке сам по себе, то ли он просто привлекает пользователей, которые и без этого более склонны к покупке в силу третьих факторов. Например, кажется, что этот инструмент должен быть интересен для агентств, но агентствам вместе с тем нужна возможность заводить несколько проектов на Position Tracking, что возможно только на платной подписке.
Чтобы проверить, действительно ли использование MyReports имеет положительный вклад в принятие решения о покупке, мы запустили триггерную рассылку с контрольной группой для пользователей, которые использовали один из двух самых крупных инструментов, интегрированных с MyReports.
В шаблоне письма мы сделали ставку на интерактивную визуализацию с минимумом скучного текста:
Шаблон письма
Но речь не об этом, а о том, что в результате этого теста мы сравнили первые платежи и действительно обнаружили статистически значимую разницу между контрольной и экспериментальной группой на уровне доверия 97%. Разница не была кратной (+27% к уровню конверсии в платежи), но нужно понимать, что в случае, когда мы смотрим от всех участников эксперимента, 75% выборки просто не открыли письмо — то есть вклад использования этого инструмента в принятие решения о покупке на самом деле даже больше, чем его оценка, полученная на основе данных из канала email.
Это знание было важно в компании не только для нас, но и для product owner’а инструмента, для продуктового маркетолога нашего развивающегося направления Monitoring & Reporting, а также других каналов маркетинга. В частности, мы успели получить результаты до запуска кампании в ремаркетинге — и это было очень кстати, так как специфика формирования малых аудиторий в платном трафике не всегда позволяет выделить контрольную группу, а канал стоит денег.

Первый тест — комом...

В ходе нашего первого теста механики с контрольной группой нас постигла неудача. Но мне кажется важным рассказать об этом случае — ведь если бы мы изначально запускали эту механику без контрольной группы, то с большой вероятностью до сих пор бы пребывали в уверенности, что эта триггерная рассылка эффективна.
На нашем сайте есть группа UX-элементов, имеющих своей целью продажу платной подписки freemium-пользователям. Кнопки в правом углу на скриншоте, приведенном ниже, ведут на pricing и страницу оплаты. Наш план заключался в том, чтобы ориентироваться на эти события в ходе своей коммуникации как на признак повышенной заинтересованности в услугах, доступных на платной подписке.
Кнопка, ведущая на страницу оплаты
Мы, как обычно, заморочились и сделали супер-динамический шаблон с миллионом циклов внутри и тремя состояниями снаружи. Кнопка в письме ведет на развернутое описание наших лимитов на разных планах подписки. Далее, если пользователь все еще не купил подписку, через 2 дня мы отправляем ему письмо со скидкой 15% на первый месяц.
Мы понимали, что есть риск — практически стопроцентный — сканнибализировать какую-то долю естественных покупок, раздав при этом кучу скидок. В связи с этим, чтобы иметь возможность объективно оценить целесообразность этой автоматической рассылки, запустили триггер с контрольной группой.
Оказалось, что, несмотря на все наши технические ухищрения, эта рассылка ничего не меняет в поведении пользователей:
Состояние рассылки
Сначала мы, конечно, сильно расстроились. Затем проанализировали механику еще раз и пришли к выводу о том, что результат вполне объяснимый. В частности, возникла следующая гипотеза: пользователи, дошедшие до этой кнопки, были, по всей видимости, не только настроены более решительно, но и лучше остальных понимали, что именно им нужно. В этом смысле повлиять на решение осознанного пользователя может оказаться даже сложнее, потому что в этом случае меньше объем когнитивной неопределенности, которую можно было бы заполнить искусственно. Как следствие, арсенал маркетинговых посылов, релевантных для каждого из таких пользователей, более узок индивидуален, чем в среднем по больнице.

...А второй — полезный!

В этой ситуации кажется, что большая степень персонализации и интенсивности воздействия, доступная живым людям в канале прямых продаж, может позволить более эффективно работать с такими пользователями. В частности, в ходе разговора опытный продавец может лучше понять потребность конкретного потенциального клиента и, соответственно, донести add value технически сложного продукта. Мы решили попробовать автоматизировать первичный контакт этих пользователей с региональными менеджерами по продажам.
Первый пилотный триггер решили протестировать в странах Латинской Америки. Известно, что конверсия в рамках узкого сегмента пользователей с корпоративными email-адресами кратно выше, чем среди остальных пользователей. Поэтому менеджер данного региона вручную отправлял персональные письма пользователям с корпоративными email-адресами, а с бесплатными работает только в режиме входящих запросов, оптимизируя таким образом затраты ресурсов.
Так как триггерная отправка после настройки не требует никакого человеческого участия, мы решили попробовать автоматизировать массовую отправку по сегменту некорпоративных адресов, которые до этого момента оставались за бортом проактивной коммуникации.
Мы выделили самые распространенные латиноамериканские домены и перед отправкой проверяли адреса на принадлежность к любому из них:
Настройка сегмента пользователей из Латинской Америки
Настройка сегмента пользователей из Латинской Америки
Так выглядело наше письмо для посетителей страницы pricing, которое отправлялось через несколько дней после окончания стандартной welcome-коммуникации:
Первое письмо
Письмо отправлялось с виртуального ящика, адрес которого совпадал с рабочим адресом нашего менеджера по продажам. Таким образом, ответы попадали прямо к нему в inbox — в папку, настроенную по теме этой рассылки.
Выхлоп в Латинской Америке был практически нулевой, но основной целью этой итерации было техническое тестирование механики и ее удобства с точки зрения бизнес-процесса отдела продаж. Известно, что культура продаж в разных странах очень сильно различается, поэтому независимо от количественного результата в Латинской Америке мы продолжаем пробовать эту механику в других регионах, внося частные модификации по требованиям отдела продаж, — в частности, в Японии, где SEMrush работает через реселлера.
Так как в одном регионе может быть несколько специалистов по продажам, для нас важна возможность на уровне триггера случайным образом разделять поток отправок, чтобы каждому из продавцов досталось примерно равное количество ответов. С помощью функционала Mindbox мы делаем это так:
Триггер случайным образом делит отправки писем клиентам на несколько частей
Триггер случайным образом делит отправки писем клиентам на несколько частей
Пока делать окончательные выводы об успешности механики рано, но без экспериментов (в том числе, провальных) движение вперед — к сожалению или к счастью — невозможно.

Если долго мучиться, что-нибудь получится

У нас есть один тест, который мы тестировали в 5 итераций, прежде, чем удалось, наконец, получить основной piece of information: в данном конкретном случае слать что-нибудь лучше, чем не слать ничего совсем.
С точки зрения бизнеса гипотеза была очень простая. У нас очень сложный и разнообразный продукт, и в этих условиях кажется, что если у пользователя был разовый эпизод активности на инструменте Х, который впоследствии не повторился в течение некоторого промежутка времени Y, то, весьма вероятно, что человек просто не понял, как инструмент работает и чем может быть полезен.
Как мы видели выше, принцип «нет времени объяснять, просто возьми скидку!» в нашем случае не очень эффективен, поэтому решили заняться честным lead nurturing и без всяких продающих посылов и просто предоставить пользователям обучающие материалы по тем инструментам, к которым они проявили разовый интерес. Не совсем бескорыстно, конечно, а в надежде на то, что в конечном итоге это позитивно скажется на числе платных подписок.
Технически все оказалось намного сложнее....
Во-первых, изначально было понятно, что отправлять письмо по событию каждого инструмента в отдельности нельзя, потому что за один день пользователю насыплется в почту несколько однотипных писем. При этом введение ограничения на интервал между разными рассылками этой кампании на поверку оказалось чревато тем, что выявилась группа инструментов, которые при такой схеме систематически «забивают» другие инструменты, чего допускать не хотелось: во-первых, нет никаких теоретических оснований полагать, что первый инструмент, «тронутый» в рамках первой сессии важнее для пользователя, чем второй, а во-вторых, конверсия в платежи у этих «инструментов-сорняков» часто ниже, чем у остальных. Соответственно, это должен быть один триггер.
Во-вторых, по изначальному замыслу вашего покорного слуги этот триггер должен был быть многоразовым, но при этом, разумеется, иметь защиту от повторной отправки одного и того же блока.
Добавим сюда еще ряд мелких нюансов — вроде того, что разным инструментам адекватен разный период времени Y — и вот, триггер из преисподней, наконец, готов:
Триггер
Если быть точнее, то это уже третья по счету версия. Из-за упертости автора — в частности, из-за ни на чем, в сущности, не основанного требования о многоразовости рассылки — мы не могли использовать стандартный функционал контрольной группы Mindbox на уровне шаблона рассылки. Мы были вынуждены делать костыли из случайных триггеров, и соблюсти корректный дизайн эксперимента удалось не с первой попытки.
В конечном итоге, мы отказались от идеи многоразовости после увещеваний менеджера нашего проекта со стороны Mindbox, и, честно говоря, это следовало сделать раньше. Не будьте, пожалуйста, как мы (даже если можете). Тестируйте MVP средствами стандартных фичей, а потом уже — в случае острой необходимости — городите огород.
В ходе тестирования предпоследней версии мы внезапно осознали, что мы так упоролись в логике, что наваяли шаблон с довольно сомнительной структурой текста и дизайном. Эта итерация дала значимые различия между контрольной и экспериментальной группой в пользу экспериментальной, но потом мы снова обнаружили техническую ошибку, могущую исказить результат. В связи с этим в финальной итерации у нас все еще присутствует контрольная группа, но уже 2 варианта текста/дизайна — старый (унылый) и новый (задорный):
Варианты писем
В конечном итоге, если позволить себе такую вольность в интерпретации полученных данных и просуммировать два варианта рассылки, то станет видно, что слать что-нибудь обучающее заблудшим пользователям лучше, чем этого не делать совсем. На этом основании мы отключили контрольную группу и продолжили тестирование вариантов.
В конечном итоге обнаружили, что несмотря на существенные различия по кликам, разницы в платежах нет. То есть, по сути, «задорная» версия — кликбейт. Но мы все равно оставили ее — просто потому, что она не хуже в терминах целевой метрики, а нам нравится больше.

Но иногда достаточно просто…

В погоне за универсальными выводами мы иногда заигрываемся в сложную автоматизацию и забываем о том, что закон Парето никто не отменял: 80% результата достижимо 20% самых простейших и наименее ресурсоемких средств.
В частности, в случае email-маркетинга вместо строительства ракет на сотне сегментов иногда имеет смысл просто потестировать темы. Это очевидный тезис, но вынуждена признать, что мы часто действуем вразрез с ним и вспоминаем об этом периодически, когда наблюдаем его случайные побочные эффекты.
Например, при тестировании шаблона (дизайн+текст) одной из автоматических рассылок, о которых уже говорилось выше, обнаружилось, что при одинаковой теме письма у тестовых версий по мере накопления выборке начал значимо различаться open rate (при том, что вводный абзац у писем также одинаковый).
Ларчик открывался просто: в самый конец прехедера в Gmail в одном из случаев влезает подзаголовок «Do you recognize your problem?» — и это, по всей видимости, побуждает особо озабоченных пользователей (то есть тех, кто нас в первую очередь интересует в рамках этой кампании) открывать письма лучше. Похожий эффект мы наблюдали раньше в рамках welcome-цепочки, когда тестировали содержание письма и фраза «Welcome aboard!», попавшая в прехедер, повысила нам открытия более, чем на 3 процентных пункта.
Вывод: не стоит недооценивать влияние такого рода эффектов на итоговую результативность механики и пренебрегать тестированием тем. В большинстве случаев тестирование тем не позволит сделать какие-то концептуальные обобщающие выводы, но хорошая новость заключается в том, что при тестировании тем для постоянных триггерных рассылок знание причины успеха нам не нужно — достаточно просто улучшить показатели и использовать дальше оптимальный вариант на постоянной основе.

От частного к общему

Тем не менее, на больших массивах данных иногда становятся заметными общие закономерности, влияние которых выделяется даже на фоне всех частностей, рассмотренных выше. Для поиска такого рода инсайтов хорошим подспорьем становятся фильтры и отчетность Mindbox. Это, пожалуй, самая сложная для освоения, но самая горячо мной любимая часть функционала. Чтобы продемонстрировать пользу от преодоления этих пугающих дебрей, расскажу историю из нашей повседневной жизни.
Как уже говорилось выше, мы отправляем рассылки на разных языках. Пять крупных европейских стран имеют свою локализованную коммуникацию на родном языке, но основным рынком для нас является Северная Америка. Кроме того, в англоязычный сегмент также попадает большой кусок базы, представленный пользователями из разных стран Азии.
Самые крупные информационные поводы в продукте региональные команды маркетинга локализуют, но локализовывать абсолютно все нецелесообразно с точки зрения соотношения затрат ресурсов и выхлопа. В то же время, кажется, что в условиях отсутствия высокой нагрузки на региональные базы было бы неправильным лишать региональных пользователей узкотаргетированной информации о продукте.
Руководствуясь этим соображением, мы иногда отправляем рассылки на английском языке на узкие сегменты, отобранные по различным признакам поведения на продукте, без учета локали. Например, исследование на тему Internal Link Building получили активные пользователи трех тематически связанных инструментов SEMrush — Site Audit, Backlink Audit и Backlinks из любых стран мира. Более того, если в один и тот же день идет специализированная продуктовая рассылка и другая — массовая на локальном языке — мы по приоритету отправляем первую и исключаем пользователя из второй, считая, что таким образом мы максимизируем вероятность получения пользователем контента, релевантного именно для него.
Однако с таким подходом не согласны некоторые представители регионального маркетинга: они апеллируют к вопросу об уровне знания английского языка среди региональных пользователей, а также соображениям брендового характера. Мы решили прояснить этот вопрос на цифрах.
План действий был такой:
  1. Сначала мы по своему внутреннему календарю рассылок отобрали такие, которые отправлялись на смешанные сегменты.
  2. Далее мы отобрали интересующие рассылки в отчете «Сравнение рассылок» и воспользовались дополнительным фильтром, чтобы построить отчет только по тем пользователям, кто получил эти рассылки из англоязычной кампании, но на самом деле относится к франкоговорящему/португалоговорящему/испаноговорящему сегменту, и выгрузили в csv.
Сравнение рассылок
  1. Чтобы понять, лучше или хуже пользователи реагируют на такие сегментированные рассылки на английском языке, чем на массовые, но на родном языке, мы хотели посчитать среднее по разовым рассылкам в каждом регионе. Для этого мы отфильтровали все рассылки в кампании «Разовые рассылки FR» с даты, когда у нас последний раз менялся критерий отписки по неактивности (и аналогично по остальным регионам):
Разовые рассылки FR
  1. С помощью фильтров восстановили размер базы каждого из регионов на момент отправки разных рассылок (с учетом статуса подписки, исключений по причине неактивности в канале, исключений из разовой коммуникации на период welcome-цепочки и прочее):
С помощью фильтров восстановили размер базы каждого из регионов
  1. В конечном итоге на основе выгрузок и фильтров получили вот такой файл, в котором по каждому региону были собраны следующие данные:
  • Название рассылки, дата, ссылка на шаблон.
  • Сколько отправлено в рамках каждой из рассылок в абсолютном значении.
  • Сколько % это составляло от общего объема региональной базы на тот момент.
  • Количество открытий, кликов и отписок (абсолютное число + %).
  • Разница между open rate, click rate и opt out rate конкретной продуктовой рассылки на английском и средним соответствующего показателя по массовым локализованным рассылкам.
  • Также мы проверили, значима ли разница по каждому из показателей, если сравнивать суммарные значения по всем рассылкам этих двух категорий за интересующий период.
  1. На основе этих данным можно сделать два важных наблюдения.
Во-первых, почти все рассылки, сделанные на основе сегментации по продуктовому поведению, в отдельности имеют показатели более высокие, чем среднее значение по региону. Если сравнить суммарное число открытий, кликов и отписок по двум категориям рассылок с учетом общего объема отправок, видно, что различия либо в пользу продуктовых рассылок, либо не значимы. Ни в одном регионе ни по одному из показателей, усредненных таким образом, продуктовые рассылки не проигрывают массовым локализованным.
Это подтверждает нашу гипотезу о том, что сегментация на основе продуктового поведения «сильнее», чем сегментация по локали. Соответственно, в случае, когда пользователь в один день подходит под условия двух рассылок из этих категорий, оправданно делать выбор в пользу первой. Скорее всего, сегментация по обоим критериям одновременно была бы еще эффективнее, но в условиях ограниченности ресурсов и объема региональных баз это нерентабельно.
Во-вторых, доля получателей подобных узкосегментированных рассылок в рамках каждого региона по факту минимальна и измеряется сотнями, поэтому в условиях, когда мы гарантируем аккуратное исключение этих пользователей из параллельных рассылок, особого повода для ожесточенной полемики тут в принципе нет.

Errare humanum est

Все так. Даже в мире, полном автоматизации, остается место для человеческого фактора.
Однажды мы отправили рассылку с записью вебинара на португальском языке нескольким десяткам тысячам пользователей из других стран, которые этот вебинар не посещали и вообще не знали о его существовании.
Как известно, письмо — не воробей, вылетело — не поймаешь. В то же время, отправлять извинение всем — тоже явно избыточная любезность; поэтому мы отправили рассылку пользователям, уже открывшим письмо, и дополнительно настроили триггер, срабатывающий на новые открытия.
Получилось очень мило:
Рассылка
Все эти мероприятия — верстка шаблона, разовая рассылка и настройка элементарного триггера — заняли у нас в общей сложности около часа.
Пользователи оценили человечность и оперативность. В первый же день я получила 176 ответов — из них 112 было выраженно позитивными, 59 нейтральными и только 5 — негативными.
Не могу удержаться от того, чтобы привести здесь несколько особенно запомнившихся:
errare humanum est:-)
Great job emailing immediately after it happened. You’re fucking on it! Keep up the great work.
Well done! Quick to identify a problem and quick to react. Clap, clap, clap
DEAREST ANASTASIA,
THE FACE BELOW IS SOO ADORABLE! PLEASE DO NOT CRY! PLEASE SMILE!
Too cute of an email to be mad at Forgiven! Just keep sending me other great stuff!
Этот эпизод спровоцировал в команде очень концентрированный выброс дофамина. Тогда мы вспомнили о том, что на другом конце — тоже живые люди, которые ценят живое и человеческое, сделанное специально для них. Считаю, что email-маркетологам особенно важно никогда не забывать об этом.

Вас заинтересуют следующие материалы