Давно хостился на одном ресурсе, у которого была услуга «списки рассылки». Для тех, кто не в курсе – загружаешь список адресов (списки сформированы легально, никакого спама, Double Opt-in) и формируешь письмо, сервис автоматически рассылает письмо по всем адресатам. Собственно всё устраивало, кроме одного – статистики. Хотелось знать, сколько доставлено, сколько прочитано и т.д. и т.п.
Начал разбираться. У «большой тройки» (Mail.ru, Yandex и Google) существуют специальные сервисы для анализа такой статистики. И опять затык, если Yandex и Google такие рассылки идентифицируют по SPF (для Google еще надо добавить хедеры в письмо, для Yandex вообще ничего не надо), то Mail.ru отличился (и не раз, собственно про него и пост) – только DKIM!
Чтобы всё работало нужно SPF, DKIM и DMARC (для полноты картины). SPF и DMARC реализуются легко через записи DNS, то DKIM далеко не у всех. Если хостер, не жлоб, и не просит за это дополнительную плату, как некоторые известные хостеры.
Перебрал и нашел хостера, который поддерживает SPF, DKIM и DMARC и не просит за это дополнительных денег (кстати, дешевле, чем у моего текущего хостера, который таких услуг не предоставлял).
Итак, поехали. Поскольку «списков рассылки» у него не было, пришлось «пилить» собственную прогу.
Первый прокол. Если Yandex и Google не накладывает ограничений на входящий поток с одного сервера, то Mail.ru наоборот сразу банит, возвращая ошибку кода 5хх. Существует некое магическое число, после которого вас начинают «рубить», добиться конкретных значений от техподдержки Mail.ru не удалось. Google вообще не ответил на запрос, а Yandex ответил, что таких ограничений вовсе нет.
Поскольку создать группировку серверов в рамках стандартного тарифа мне неподвластно – ввел задержку между отправками на домены Mail.ru (bk, list и т.д.). Дело пошло.
Тут второй прокол. В Mail.ru существует такой параметр как «Репутация»
Чем он меньше, тем лучше. Как написано в мануале чем он меньше, тем меньше вероятность, что твое письмо попадёт в спам или вообще будет отвергнуто. Так вот это неправда – сам Mail.ru игнорирует этот параметр. Смотрите при больших параметрах репутации все письма попадают во входящие (январь, февраль), а при меньших наоборот часть попадают в спам (март).
Третий прокол – параметр «Тенденция». Данный параметр должен показывать тенденцию изменения параметра «Репутация», но показывает ветер в квартире.
Не пытайтесь понять его логику. Данный параметр растёт и падает в зависимости от удаленности тысячи комет от Земли. Показывает рост 150%, но на следующий день параметр на прежнем месте и наоборот. Для понимания «всплески» количества писем это дни когда действительно была рассылка, остальные дни это обычная рабочая переписка (да действительно так мало писем, но только на сервера Mail.ru).
Чётвертый прокол. Периодически в графе «Жалобы» стали появляться цифры отличные от нуля. Как же так, ведь все получатели подписывались самостоятельно, почему же попадание в «СПАМ»? Тут плюс в карму Mail.ru – FBL, который позволяет получить адрес пользователя, который нажал кнопку «СПАМ» в интерфейсе почты. Я стал писать (с другого адреса) таким пользователям «почему же Вы отписались?». Оказалось дело в интерфейсе почты Mail.ru.
Пользователь не хочет заходить в письмо и нажимать ссылку «Отписаться» (заголовок List-Unsubscribe присутствует в письме), он просто выделяет письмо в списке писем и жмёт кнопку «СПАМ»! И правильно, согласно правилам Mail.ru «Тема письма вида «Наша ежедневная рассылка от Фирмы» или «Ваше ежемесячное обновление `Название продукта`» помогут пользователям сразу узнать ваше письмо». То есть если пользователя перестает интересовать тема рассылки – он однозначно вас идентифицирует и отправит в СПАМ как более его не интересующее!
Пятый прокол. Если пользователь не заходил долго в интерфейс почты и за это время получил более одной рассылки – то беда. Если пользователя более не интересует ваша рассылка, то согласно предыдущего «прокола» пользователь выделяет сразу несколько ваших писем (он ведь вас однозначно идентифицирует по теме или отправителю) и нажимает «СПАМ». И вы получаете в графе «Жалобы» не единичку, а цифру идентичную количеству выделенных писем – а ведь пользователь один и жалоба по сути одна.
P.S. Никогда Вам не стать честным рассыльщиком. За год мне всего один раз удалось добиться нулевого рейтинга. Хотя как показывает опыт рейтинг ни на что влияет — Mail.ru может согласно принципа «корейского рандома» может отправить ваши письма в спам.
Начал разбираться. У «большой тройки» (Mail.ru, Yandex и Google) существуют специальные сервисы для анализа такой статистики. И опять затык, если Yandex и Google такие рассылки идентифицируют по SPF (для Google еще надо добавить хедеры в письмо, для Yandex вообще ничего не надо), то Mail.ru отличился (и не раз, собственно про него и пост) – только DKIM!
Чтобы всё работало нужно SPF, DKIM и DMARC (для полноты картины). SPF и DMARC реализуются легко через записи DNS, то DKIM далеко не у всех. Если хостер, не жлоб, и не просит за это дополнительную плату, как некоторые известные хостеры.
Перебрал и нашел хостера, который поддерживает SPF, DKIM и DMARC и не просит за это дополнительных денег (кстати, дешевле, чем у моего текущего хостера, который таких услуг не предоставлял).
Итак, поехали. Поскольку «списков рассылки» у него не было, пришлось «пилить» собственную прогу.
Первый прокол. Если Yandex и Google не накладывает ограничений на входящий поток с одного сервера, то Mail.ru наоборот сразу банит, возвращая ошибку кода 5хх. Существует некое магическое число, после которого вас начинают «рубить», добиться конкретных значений от техподдержки Mail.ru не удалось. Google вообще не ответил на запрос, а Yandex ответил, что таких ограничений вовсе нет.
Поскольку создать группировку серверов в рамках стандартного тарифа мне неподвластно – ввел задержку между отправками на домены Mail.ru (bk, list и т.д.). Дело пошло.
Тут второй прокол. В Mail.ru существует такой параметр как «Репутация»
Чем он меньше, тем лучше. Как написано в мануале чем он меньше, тем меньше вероятность, что твое письмо попадёт в спам или вообще будет отвергнуто. Так вот это неправда – сам Mail.ru игнорирует этот параметр. Смотрите при больших параметрах репутации все письма попадают во входящие (январь, февраль), а при меньших наоборот часть попадают в спам (март).
Третий прокол – параметр «Тенденция». Данный параметр должен показывать тенденцию изменения параметра «Репутация», но показывает ветер в квартире.
Не пытайтесь понять его логику. Данный параметр растёт и падает в зависимости от удаленности тысячи комет от Земли. Показывает рост 150%, но на следующий день параметр на прежнем месте и наоборот. Для понимания «всплески» количества писем это дни когда действительно была рассылка, остальные дни это обычная рабочая переписка (да действительно так мало писем, но только на сервера Mail.ru).
Чётвертый прокол. Периодически в графе «Жалобы» стали появляться цифры отличные от нуля. Как же так, ведь все получатели подписывались самостоятельно, почему же попадание в «СПАМ»? Тут плюс в карму Mail.ru – FBL, который позволяет получить адрес пользователя, который нажал кнопку «СПАМ» в интерфейсе почты. Я стал писать (с другого адреса) таким пользователям «почему же Вы отписались?». Оказалось дело в интерфейсе почты Mail.ru.
Пользователь не хочет заходить в письмо и нажимать ссылку «Отписаться» (заголовок List-Unsubscribe присутствует в письме), он просто выделяет письмо в списке писем и жмёт кнопку «СПАМ»! И правильно, согласно правилам Mail.ru «Тема письма вида «Наша ежедневная рассылка от Фирмы» или «Ваше ежемесячное обновление `Название продукта`» помогут пользователям сразу узнать ваше письмо». То есть если пользователя перестает интересовать тема рассылки – он однозначно вас идентифицирует и отправит в СПАМ как более его не интересующее!
Пятый прокол. Если пользователь не заходил долго в интерфейс почты и за это время получил более одной рассылки – то беда. Если пользователя более не интересует ваша рассылка, то согласно предыдущего «прокола» пользователь выделяет сразу несколько ваших писем (он ведь вас однозначно идентифицирует по теме или отправителю) и нажимает «СПАМ». И вы получаете в графе «Жалобы» не единичку, а цифру идентичную количеству выделенных писем – а ведь пользователь один и жалоба по сути одна.
P.S. Никогда Вам не стать честным рассыльщиком. За год мне всего один раз удалось добиться нулевого рейтинга. Хотя как показывает опыт рейтинг ни на что влияет — Mail.ru может согласно принципа «корейского рандома» может отправить ваши письма в спам.
Комментарии (15)
kirillaristov
11.02.2018 05:25У вас наверное не очень большая рассылка? Обычно используют сервисы рассылок, если при этом задать соответствующие параметры для spf и добавить подпись отправителя dkim в dns, то письма будут приходить как от вашего домена.
Если рассылка небольшая, то можно логиниться в почту своего домена (google/yandex) и с нее слать, тогда сразу и dkim будет в исходящих письмах.
У gmail/gsuite ограничение на 3000 исходящих в сутки на внешние адреса.kirillaristov
11.02.2018 05:37Пардон, хотел написать "google/gsuite ограничение 3000 исходящих" (https://support.google.com/a/answer/166852?hl=en), у gmail сильно меньше — всего 500 получателей в сутки.
nmike
11.02.2018 08:08За год мне всего один раз удалось добиться нулевого рейтинга.
а зачем ван нулевой рейтинг? это же из области фантастики, всегда будут люди вами недовольные. Упал биткойн, выпал неожиданно снег зимой или соседи ночью орали и спать не давали — все, ваша рассылка получила «СПАМ». И в правилах мейла нету требований нулевого рейтинга(ну может рекомендации, но не требования) — держите согласно их правилам и все будет хорошо.
Хотя как показывает опыт рейтинг ни на что влияет — Mail.ru может согласно принципа «корейского рандома» отправить ваши письма в спам.
опять не верно — рейтинг влияет, очень влияет. Но почему вы считаете, что если вам разрешили носить оружие, вам разрешили и стрелять из него где угодно, кроме тира?
Корейский рандом — вполне нормальная и правильная практика.
Как говорил один наш политик — «Если кто-то выглядят как террорист, если он действует как террорист, воюет как террорист...»
dragoangel
Ну то что пользователи не юзают вашу кнопку unsubscribe — mail.ru и другие точно не причем, тут причин только 2: a. вашу кнопку в письме найти нереально (белая на белом фоне и шрифт 6pt) или она вовсе не рабочая как это часто бывает. б. юзеры которые отправляют вас в «спам» по большей части неуки и не знают что такое «подписка» и настройки рассылки и кнопка «отписаться» в принципе.
Но то что один или даже 100 из 10000 человек отправили вас в спам у себя, не значит что вы спамер. Да и нормальные почтовые сервера начнут кидать тебя в спам только если у тебя рейтинги по spamassassin низкие на письмах (это легко проверить) или если твой домен попал в черные списки почты, что тоже легко проверить. Выйти с них (с черных списков) конечно сложнее, но при рабочей кнопке unsubscribe доказать владельцам черных листов что ты не спамер не составит прям великого труда.
BubnovRV Автор
Дело в том, что если в письме присутствует заголовок List-Unsubscribe, то в интерфейсе Mail.ru автоматически формируется ссылка «Отписаться» в самом верху письма.
Проблема в том, что в интерфейсе при просмотре списка писем не предусмотрена кнопка «Отписаться», а только внутри письма.
И, да «собственная», а не Mail.ru, ссылка для отписки в письме присутствует, согласно правил.
sumanai
Читал, что кнопка отписаться от Mail.ru так же отправляет в спам вместе с отпиской, на всякий случай. И я как пользователь даже с ними немного согласен — сейчас половина спама содержит эту кнопку, единственный эффект от нажатия которой выражается в ещё большем количестве спама, мол, раз нажали, то ящик живой.
dragoangel
такой спам в большинстве случаев идет с поддельными до mailfrom и без даже банального spf, я уже молчу про dkim, рейтинг писем у такого спама по умолчанию -5 и хуже, на большинстве почтовых серверов такой спам даже не попадет в ваш почтовый ящик вообще.
А вот пример теста на спам настроенного сервера почты который что бы начал попадать в спам нужно чтобы вас кто то зарепортил на DNSBL, а так вы будете чисты.
BubnovRV Автор
Нет, нажатие на ссылку «отписаться» не отправляет в «спам».
mxms
"Нормальные почтовые сервера" вовсе не используют Spamassassin и, следовательно, что он там и как выдаёт им совершенно параллельно. Но как косвенный критерий использовать можно.
В реальности методики у всех разные, но имеющие местами общие черты. Одной из них, к примеру, является использование комплексной оценки репутации на основании исторических данных. У Google там вообще AI фильтрацией вовсю занимается.
dragoangel
Да, Spamassassin это opensource и многие вообще не юзают спам фильтры (но мы же говорим о тех кто их юзают в этой статье, правда?), некоторые используют коммерческие решения блокировки спама (которые в большинстве своем в основе построены на все том же opensource), или вообще свои собственные решения, но все же как вы сами подметили, принципы «разбора на спам\не спам» у них плюс-минус общие за исключением каких то кастомных настроек владельцев почтовых серверов. А попав в DNSBL или не правильно настроив сервер аля dkim не отработал при отправке письма хоть он настроен, или dmark нету — это вам та проверка что я дал ссылку сразу ткнет пальцем.
mxms
Есть сети спаммеров которые шлют годами с одних и тех же +- IP, имеют полностью корректные настройки DNS и не включённые ни в один (!) RBL. Тем не менее, это 100% спам. Уж не знаю, как они там урегулируют вопросы с ними, но факт.
Уже думаю не свой ли RBL поднять для всеобщего блага. Честный и неподкупный. :-)
remzalp
В смысле дорогой в подкупе? :)
mxms
Мне откровенно нравится ваш ход мыслей. :-)