Привет, меня зовут Александра Хорошкова, я менеджер проектов по рассылкам в SuperJob. Каждый день наши email-сообщения получают миллионы пользователей. Эта аудитория даёт отличную возможность для быстрого тестирования гипотез, поскольку позволяет за короткий период провести необходимое количество экспериментов и понять, есть ли статистически значимые отличия между разными вариантами.

В этом посте хочу поделиться опытом оптимизации нашей самой массовой рассылки – «Горячих вакансий», на которую подписаны 5,5 млн пользователей, то есть практически каждый наш активный соискатель. Точнее кейсом, когда серия позитивных изменений может неожиданно привести к негативному результату, и что нужно делать, чтобы это побороть.

Собираем трафик с негатива

В самом начале, до всех изменений, «Горячие вакансии» выглядели скромно и неброско (слева). Но уже довольно скоро, после ряда тестов мы привели рассылку в несколько иной вид (справа):

Мы не остановились на достигнутом и стали улучшать наши «Горячие вакансии» дальше. Появилась идея собрать трафик и с негатива – с предложений, которые пользователя не интересуют. Например, если получатель письма уже видел предлагаемые в рассылке вакансии в выдаче на сайте, то он наверняка не пойдет смотреть их повторно. Но возможно он захочет заблокировать их или скрыть из поисковой выдачи. Для этого ему придется перейти на сайт, и там есть шанс втянуться в какие-то другие наш сценарии: посмотреть похожие вакансии, почитать ленту уведомлений и так далее.

Мы разработали и стали тестировать три варианта кнопки:

По итогам теста победил вариант со ссылкой «Заблокировать»:

Наше письмо стало выглядеть так:

Привлекаем внимание к видеовакансиям

Одна из современных тенденций – меньше читать, больше смотреть видео. Поэтому и на сайте у нас растет количество видеовакансий. Разумеется, мы захотели сделать на них акцент и в рассылке.

Мы придумали несколько вариантов для тестирования и по итогам выбрали тот, где пометка «Видеовакансии» располагается прямо над заголовком предложения о работе.

Итак, мы поработали с внешним видом письма, собрали трафик из негатива, выделили видеовакансии:

Что бы ещё улучшить?

Решили проверить гипотезу, которая заключается в том, что пользователи охотнее откликаются на свежие вакансии – опубликованные за последние сутки. Тем более, что такая фича будет полезна и соискателю, которому мы подсвечиваем самый «свежак», и работодателю, который получает отклики в первые сутки после размещения своей вакансии.

Вот такими способами решили выделить свежие вакансии. Здесь подсвечено, какие акценты мы тестировали:

По итогам победил вариант с призывом и ссылкой «Откликнуться», размещёнными под вакансией на зеленой плашке.

Лучше - проще?

Давайте посмотрим на то, как стало выглядеть наше письмо после года последовательной оптимизации:

Из простого и лаконичного сообщения рассылка эволюционировала в письмо, перегруженное акцентами и какими-то цветовыми пятнами. Соискателю при этом стало сложнее: чрезмерное количество параметров затрудняет выбор, а не облегчает его. Неудивительно, что конверсия письма стала неизбежно снижаться.Мы стали тестировать новые облегчённые варианты сниппета (превью) вакансии в письме. Что-то убрали, что-то переместили – и получили три новых варианта для тестирования:

По количеству переходов на описание вакансии победил вариант со ссылкой «Посмотреть», то есть призывающий совершить клик. А по откликам – вариант со ссылкой «Откликнуться», хотя набрал меньше переходов. А вот вариант совсем без call to action (призыва к действию) нашим пользователям не зашёл.

Поскольку наша ключевая метрика – отклики, мы оставили вариант со ссылкой «Откликнуться». Вот как это стало выглядеть в письме:

Ниже фрагмент графика за период наблюдений с мая по август. 

Мы заметили, что после майских праздников график с показателями переходов уполз вниз. Обычно к лету наблюдается сезонное снижение, но в этот раз оно было более резкое (1).

В точке (2) запустили тест облегченного письма и график пополз вверх, а в точке (3) раскатили на всю аудиторию победивший вариант. В итоге по откликам тестовый вариант дал на 6% больше, чем были показатели в контрольном варианте, и на 4,8% больше переходов. Конечно, на колебания графика влияют не только наши тесты, но корреляция определенно прослеживается.

Итоги и выводы

Как видим, письмо стало не только визуально «чище», но еще и короче. Теперь пользователю не нужно столько скролить, чтобы долететь до конца списка.

Сейчас мы тестируем эти сниппеты в других письмах, чтобы тоже очистить их от «визуального шума». Для каждой рассылки нужно проверять гипотезы заново: просто взять опыт «Горячих вакансий» и применить их на другие направления без А-В-тестирования не получится. Почему? Во-первых, каждое письмо отправляется в определенной ситуации с определенным набором правил. Во-вторых, если ключевыми метриками в рассмотренном сегодня кейсе для нас являются отклики, то в других случаях это может быть создание резюме или переход на сайт.

Тем не менее, опыт оптимизации самой массовой рассылки SuperJob многому нас научил. Вот основные уроки, которые мы вынесли из этого кейса:

• Отдельно взятые хорошие результаты не всегда хороши в целом. Старайтесь видеть картину мира полностью и смотреть, как каждое изменение коррелирует друг с другом.

• Ни в коем случае не останавливайтесь. Нужно всегда экспериментировать, пробовать, перенимать успешный опыт коллег.

• Не бойтесь отменить изменения, какими бы успешными они ни казались. Иногда откат назад может стать большим шагом вперёд.

• Важно объективно оценивать свою аудиторию, понимать, что она также меняется и подчас «перегорает». Эффект новизны уходит, и пользователю ваши изменения становятся неинтересны.

На этом всё, была рада поделиться с вами опытом. Задавайте вопросы в комментариях. Можно не только по теме статьи, но и вообще про рассылки и их мониторинг в SJ.