Зло «борется» со злом или как одни преступники делают вид, что борются с другими
Ели кто помнит, в начале 2000-х была такая поговорка: «Бабло побеждает зло», которая потом превратилась в «Добро побеждает бабло». В нашей же истории «Зло побеждает добро, борясь со злом».
Онсе упон э тайм решили мы создать очередной
«Идея, конечно, классная, свежая, на рынке ничего подобного нет (если вдруг читает Шелдон Купер — sarcasm)… Но так, как тема новая, денег больших дадим только после того, как убедимся, что проект рабочий».И их понять, конечно, можно. Сколько было стартапов, которые после получения инвестиций и покупки клевых офисов с секретаршами, кофемашинами и мощными игровыми компами вдруг понимали, что их продукт почему-то никому не нужен, и глупые клиенты не выстраиваются в очередь за гениальным приложением. Заключили договор с дата центром (работа дата центра это отдельный роман на тему «как не надо строить бизнес в области телехауса», и, возможно, я даже напишу об этом позже). Закупили сервера, хранилища, «циски», купили лицензии на софт, заключили договора с апстримами, взяли в аренду у друзей 22-ю сеть и начали работать, показывая инвесторам, насколько крут бизнес в области «облаков» и прочих выдумок маркетологов. Сервера были свежие, хранилища быстрые, цены доступные и народ пошел. Все, казалось бы, хорошо. Знай, закупай новые блейд-корзины и увеличивай долю на рынке.
Но тут поступил первый звонок (в прямом и переносном смысле). Со мной связался шеф нашего, на тот момент самого крупного, провайдера и сообщил:
«У вас там проблемы, наши „ноки“ говорят, что вы спам шлете пачками. Разрулите».
Думаю:
«Какой еще спам? Вроде бы мы мониторим трафик, спамеров баним, да и в целом следим за своей сетью, ничего такого быть не должно».
Связываюсь с ноками, и они мне сообщают:
«На вас абузы от Спамхауса. Если в течение двух дней не разрулите, мы BGP сессию с вами прибьем».
И тут я понимаю нашу первую ошибку – сетку 22 мы взяли у друзей. И они забыли поменять в поле абуз контакт в RIPE. А так как сеткой они не пользовались, и друзья совсем не в теме телекома, то про это все благополучно забыли. Смотрим, какие претензии у Спамхауса к нам. Видим, что на нас у них там полный набор вида: dirty network, cyber crime, hosting escalation и прочие прелести из-за какого-то одного клиента. Запись выглядела так:
«Cybercrime domains profitmax.org etc. at @нашип».
Вступаем в переписку со Спамхаусом, выясняем, чем же мы провинились. Сеть, кстати, свежеполученная в RIPE, и до этого никем и никогда кроме нас не использовалась. Пытаемся связаться с клиентом, который арендует у нас этот ip-адрес. Не получив обратной связи, блокируем виртуалку. Отписываемся в Спамхаус, что все ваши претензии устранены, мы хорошие! А в ответ получаем:
Hello
This network is rogue and operated by spammers. We won't be able to remove it from DROP unless it has been returned to RIPE.
Thanks for your understanding.
— Best regards
Thomas Morrison
Пишем апстриму, что вот так и так претензии устранили, но они нас не удаляют. Получаем временную передышку. Записи от Спамхауса начинают приходить пачками:
«Downloader. Pony botnet controller. Spam domain hosting: ytk-garant.ru, etc.» И самое главное: «Spam leading to: trafmarket.ru, memorhost.ru, etc.» (последняя появлялась потом с заметной регулярностью).
Мы блокируем сразу же по первому их чиху в нашу сторону. Некий Thomas Morrison строгим тоном спрашивает нас:
«Как же вы докатились до жизни такой?»
Мы постоянно извиняемся, и говорим, что сеть свою мы контролируем и вот баним злодеев. Но Томас нам отвечает:
«У нас есть сведения, что вы заодно с киберкраймом и постоянно предоставляете им новые адреса (угу надо оно нам из-за 65 рублей себе проблемы зарабатывать)».
В общем, в таком ключе проходит пару месяцев, и мы понимаем, что нам нужны дополнительные каналы на случай блокировки. Ведем переговоры с Крупным Федеральным Оператором TIER1. Когда до подключения Крупного Федерального Оператора остаются считанные дни, наш апстрим без объявления войны кладет нам BGP. Резервный канал у нас был, разумеется, и мы его тестировали. Но, скажем так, когда мы были еще совсем мелкие. С тех пор у нас объемы трафика выросли в разы, появились анонсы ipv6-сетей. В общем, когда нам наш апстрим положил BGP, наш резервный канал практически упал от тех объемов трафика, которые мы генерировали. Нет, мы работали, разумеется, но деградация сети была достаточно заметная. Потеряли, как в связности, так и в анонсах ipv6 (оказалось, что далеко не все умеют с ними нормально работать). Но нас спасло на тот момент, что присоединение нашей сети к Крупному Федеральному TIER1 оператору было уже практически готово, и мы смогли достаточно быстро все восстановить. Потеряли, разумеется, часть клиентов, выплатили компенсации и продолжили работу. Наши сети прочно прописались в Спамхаусе. Чем это нам грозило, я опишу дальше.
Какие бывают киберпреступники (реальные и вымышленные)?
Так как отделались на первых порах легким испугом, мы не стали подавать в суд на нашего апстрима1, а просто засучили рукава и продолжали работать. Как показала практика — очень зря. Использовали ли наш хостинг реальные (а какие бывают еще кроме «реальных», я так же напишу ниже) киберпреступники? Разумеется, да. За время своей работы мы их научились достаточно быстро вычислять, и борьба с ними не доставляет каких-то значительных хлопот. Итак, какие методы мы использовали?
Первое – анализ всего трафика
Весь трафик мы анализировали, и с помощью определенных триггеров на анализаторе, которые создавали оповещения об аномалиях, принимали решение. Это было либо предупреждение, либо сразу блокировка (в случае особо злоупотребляющих клиентов). Как это выглядело на практике? Допустим, снифер видит, что идет большое количество SMTP пакетов с определенного хоста — скорее всего, это спам (хотя иногда бывают совершенно легальные почтовые рассылки крупных интернет магазинов). Мы блокируем порт и просим клиента объяснить такую активность. Большинство легальных клиентов без проблем объясняют свои действия, и в дальнейшем мы просто вносим исключения для них. Бывают моменты, когда на нашего клиента идет DDoS атака, характеризующаяся большими потоками входящего трафика (нередки случаи, когда на виртуалку лилось 10Гбит/сек). В этом случае мы просто извещаем клиента и весь трафик, идущий на него, сливаем в Black Hole. На сегодняшний день мы прорабатываем услугу защиты от DDoS и сейчас она в стадии бета-теста.
Второе – анализ клиента
Практика показала, что если имя клиента выглядит как Vera F. Talbott, Alice Grimes, Darinka Korten или
Третье – Жалобы на копирайт
Нередко мы получаем жалобы на размещение контента, попадающего под законы о копирайте. В этом случае мы вступаем в переписку и просим удалить незаконный (по мнению борцов за копирайт) контент с сайта. Но, самое главное, из всего этого списка преступников только пару раз были жалобы от Спамхауса, да и зачастую уже после того, как клиент уже был заблокирован. Тем не менее, Спамхаус не спешил удалять эти ip из своей базы, а на наши просьбы писал что-то типа
«Мы видим, что этот ip-адрес доступен, требуем его заблокировать и написать нам, какие меры приняты».Мы, разумеется, писали в ответ:
« Да, был такой, но сайт давно удален, клиент заблокирован».После долгой переписки Спамхаус удалял отдельную запись. Но все наши сети так и продолжали оставаться в их базе с грозными надписями «сеть такая-то is listed on the Don't Route or Peer List» и «is listed on the Spamhaus Block List».
Четвертое – мнимые преступники
Самая большая категория. Регулярно мы попадали в списки с формулировкой «Neurevt Cybercrime domains de-conflict.ru, profitmax.org etc.». Таких клиентов отследить было просто невозможно. С виду обычный клиент заказывает VPC, и практически сразу же после заказа или максимум через один день мы получали абузу от Спамхауса. Блокировали и вступали в долгую переписку. Кстати, последний вид Спамхаус удаляет достаточно неохотно. Они просто игнорируют наши сообщения о том, что клиент заблокирован. Но, тем не менее, такие записи появляются как минимум 2-3 раза в месяц. Я как-то с трудом смогу представить человека, который 2-3 раза в месяц будет покупать на одном и том же хостинге виртуалку, заранее зная, что ее удалят буквально через час или, максимум, день без всякой компенсации.
Поразмыслив над этим и применив старый римский принцип «Cui prodest?» мы поняли, что выгодно это может быть только одной организации. А именно — этому самому Спамхаусу. В чем же заключается их профит? Об этом я напишу ниже.
Крупный Федеральный Оператор
Мы продолжили работу с крупным федеральным оператором, время от времени получая от их службы безопасности письма с просьбой отреагировать на жалобы Спамхауса, на которые мы и так реагировали молниеносно в любое время дня или ночи. Спамхаус внес этого оператора в свои блеклисты из-за мнимых жалоб. Причем, те жалобы, которые у нас были удалены, у оператора висели месяцами (да и до сих пор висят). Мы много общались с саппортом оператора, пересылали переписку со Спамхаусом и доказывали, что мы хорошие, и никакой «такой» деятельностью не занимаемся. В конце концов, получили от них официальное письмо с просьбой так же официально ответить. Мы официально ответили, что никогда не занимались никакой противозаконной деятельностью и в дальнейшем не планируем ей заниматься, а Спамхаус организация международных кибермошенников, и на территории РФ никакой власти не имеет, о чем есть соответствующее письмо от Роскомнадзора, и действия их незаконны. Получили заверения, что все нормально и сотрудникам Оператора это и так известно, а блокировать нас по этому надуманному поводу они не планируют. Мы, разумеется, наученные горьким опытом, начали вести переговоры с другим Крупным Федеральным Оператором TIER1, но немного не успели…
Карма
У себя в компании мы используем для общения между сотрудниками такой удобный чат как Slack (не реклама), так как много удаленных сотрудников, и собрать их всех в одном месте для общения не представляется возможным. И вот как-то вечером, общаясь в чате, мы обсуждали вопрос, стоит ли блокировать мелкого клиента, из-за проблем которого страдают другие клиенты, приносящие компании значительно большую прибыль? Тех. специалисты были однозначно за блокировку с формулировками:
«да от него одни проблемы, он просто не умеет пользоваться линуксом, пусть научится с ботнетами бороться, ламер».
Моя же позиция как руководителя компании была однозначной – не важно, какой это клиент, крупный или мелкий. Клиент нам доверяет, так как принес нам свои деньги. А это, я считаю, основа любого бизнеса. Самый главный человек в любой компании — это отнюдь не технический гений или директор, а тот человек, который поверил в компанию и принес ей свои кровные рубли, доллары или юани. И весь бизнес строится на клиентах, они самые важные люди и решение проблем клиентов — это и есть самое главное, за счет чего живет и развивается компания. Если не будет тех людей, которые принесут в организацию свои деньги, не будет программистов, сис.админов, директоров и секретарш.
Впрочем, я отвлекся. Моя позиция была – помочь клиенту, пусть это даже и бесплатно. И научить его элементарным основам безопасности. Причем здесь карма? А при том, что Крупный Федеральный Оператор так не думал. И, буквально, на следующий день, стоя в пробке на Садовом, я увидел кучу сообщений от бота в Slack, что вся наша инфраструктура – down (для контроля инфраструктуры мы используем Zabbix, который при проблемах сразу же пишет в общий канал Slack сообщения, о том, что именно и где упало). Я сразу же набрал нашему менеджеру у оператора с вопросом:
«А не заблокировали ли вы нас?»На что получил ответ:
«Нет, все нормально, я смотрю — ваш заказ активен».Позвонил в саппорт провайдера, там меня тоже заверили, что все нормально, но создали тикет и обещали перезвонить. Разумеется, у нас, как и в первом случае, был резерв. И мы видели, что анонсы от нас уходят в резервный канал, и все вроде бы как должно быть хорошо. НО нас не видела половина интернета. Перезвонил менеджер и сообщил, что нас все-таки заблокировали по указанию лично их вице-президента, и он ничего сделать не может. Я попросил дать нам хотя бы несколько дней на подключение другого аплинка, в чем он обещал попробовать посодействовать. Но оставался вопрос – почему так криво работает резервный канал?
Оказалось, что кроме того, что Оператор положил нам BGP сессию, он также полностью заблокировал весь ип транзит и из других сетей с нашими AS. Т.е все те точки обмена трафиком, в которых участвовал оператор, просто не пропускали трафик из наших сетей. А так, как половина трафика в стране идет через этого оператора, половина страны и почти полмира нас просто не видели. После долгих переговоров оператор нам все таки восстановил ип транзит при условии, что мы в течение трех дней предоставим новую AS. Но, я думаю, что как только эта новая AS начнет анонсы наших сетей, так сразу же мы получим кучу эскалаций от Спамхауса на эту AS. Так что сейчас мы в усиленном режиме ведем работы по подключению к Федеральному Оператору TIER1 №2
Кто такие Спамхаус ?
Вернусь теперь к заголовку – как же все таки зарабатывать миллионы на борьбе с киберкраймом. Я изучил кучу информации по вопросу, кто же такие non-profit organization Spamhaus и в чем же все-таки заключается их профит и методы давления. Самая грамотная статья, которая мне попалась — вот.
Вкратце перескажу: Спамхаус это жулики (дальше можно не рассказывать). Разумеется, они под видом борьбы со спамом занимаются вымогательств и рекетом путем закошмаривания мелких и средних хостинговых компаний, а также интернет сервис-провайдеров. В чем же заключается их «бизнес-модель»? Да все очень просто – вас заносят черный список, выбраться из которого практически нереально, и начинают на вас давить через ваших апстримов, вынуждая вас купить пакет услуг у аффилированной со Спамхаусом компании.
Казалось бы ну в чем проблема – занес вас какой-то Томас в черный список. Проблема в том, что многие крупные почтовые сервисы и компании (как пишет автор статьи, часто за откаты) пользуются блеклистами от Спамхауса и почта от ваших клиентов не будет доходить до получателей тех, кто пользуется списками Спамхауса.
Многие крупные операторы давно не реагируют на Спамхаус. Например, в Китае выписан ордер на арест Stephen John Linford, который является руководителем Спамхауса. Спамхаус в свое время блокировал целиком такие страны как Латвия, Турция, полностью блокировал сеть Google и до сих пор у них в блокировке вся сеть Китая, а beeline.ru никто иные, как spamer webhosting, так же в их списках многие сети Ростелекома и таких крупных зарубежных хостинговых компаний как, например, OVH.
Что мы намерены делать дальше?
Ну, у нас выбора, по большому счету, особо нет. Либо, как они пишут – сдавать свои сети обратно в RIPE, либо заплатить им денег (причем платить придется постоянно), либо подавать в суд. Суд в их отношении работает плохо. В США они уже проиграли ряд судов, но объявили, что суды были захвачены cybercrime и они не подчиняются юрисдикции США. Можно, конечно, попробовать обратится в мировой суд управы Зюзино (ничего не имею против этого прекрасного района и мирового суда) и попробовать выиграть дело с просьбой блокировки сайта spamhaus.org на территории РФ
Комментарии (89)
alekciy
21.10.2016 19:44Что спамхаус те еще кадры дело известное давно. Но бороться нужно не с ними, а людьми использующих их базу как пример для построения фильтрации спама. Когда рунет начал разрастаться, людей использующих почту становилось все больше и спам тоже рос. Ни кому спам в ящике не нравится. Админы шли в инет за статьями в которых описывалось бы решение проблемы и находили его. А там кроме настройки почтовика описывалось как подключить базу спампауса к своему серверу. Это был достаточно простой способ решающий проблему очень быстро. И поэтому способ был популярен и востребован.
Кроме того спамхаус это «один из» сервисов зарабатывающих таким образом. Но их на самом деле много. Я когда работал в регру приходилось иметь дело с пятком подобных контор. Имя им легион и бороться нужно с перегибами на местах. С нашими гражданами которые бездумно возводят эти сервисы в эталон.
Delphinum
21.10.2016 19:50+4ЗанудаMod: On
Каждый раз глядя на подобные КПВ, задаюсь вопросом — а автор этой картинки понимает, что один пиксель не может зажечься наполовину?
Chamie
21.10.2016 21:14ftdgoodluck
21.10.2016 21:10Наверняка, на территории РФ не вы одни страдаете. Не думали попробовать коллегиально обратиться в суд UK?
ondys
21.10.2016 21:27+1Почти все страдают кто им не платит, дело в том, что адрес у них на сайте фейковый, где их искать не понятно, никаких реквизитов нет. Мы сейчас изучаем вопрос как правильно подать на них в суд в UK, но думаем это не дешевое занятие
Kalashmatik
21.10.2016 21:46+3Добавлю ссылок на тему:
Роскомнадзор о незаконности Spamhaus на территории РФ
Spamhaus занес Латвию в черный список
Множество фактов вымогательства
Обсуждение в среде хостеров
P.S. Вообще засудить бы их и реально внести в России в реестр, что бы хоть раз этот реестр на благо поработал, а вот когда их БД станет недоступна, то часть админов может и осознает о том какое зло они творят добавляя DNSBL списки и позволяя посторонним лицам решать за них принимать почту или нетondys
21.10.2016 21:54+4Вот в этом как раз основная проблема, если бы администраторы игнорили их списки их бы просто нечем было бы шантажировать, на днях они всю нашу /29 сеть ipv6 занесли в свои листы. Их претензия заключалась в том, что мы не пользуемся их листами! Т.е они нам сейчас открыто намекают, чтобы мы купили их платную подписку для провайдеров стоимостью от 5000$
alexiff
21.10.2016 22:55-1Сразу прощу прощения за тон но люди решившие заняться хостингом и не ознакомившиеся с минимальными методами борьбы с фродом бесят ещё больше чем спамхаус.
Вы интересовались хоть раз как большие операторы борются со спамом, а с фродом? Вы когда нибудь пытались купить виртуальный сервер у DO и попробовать с него отправить email? А купить сервер у linode?
То что вы оперировали сетью не имея доступа к abuse почте это вам кажется мелочью да? :)
По поводу спамхаус — согласен что они неадекватны в силе своей реакции. Как пример месяц назад они запихали нашу ипв4 /18 и ипв6 /32 в SBL за то что мы затранзитили сеть которая была в DROP листе.
Надо не плакать на хабре а разворачивать world wide компанию информирующую людей почему не надо использовать их листы и т.д.
п.с. в вашем распоряжении находится /29 сеть ипв6 и при этом вы не боритесь с мошенническими заказами?) Да вы страшнее чем спамхаус.ondys
21.10.2016 23:01+3Вы статью читали? Если читали, но не поняли поясню — за спам к нам у них нет претензий, основной процент жалоб это как раз инциденты сгенерированные самим же спамхаусом, т.е от них регистрируется человек и через полчаса от них прилетает абуза и такие записи они практически не удаляют, хотя реакция на
них следует в течении 10-15 минут.
И с чего вы взяли, что мы «не боремся с мошенническими заказами»? Мы просто не идем на поводу у жуликов и вымогателей только и всего.
«Надо не плакать на хабре» можете процитировать то место которое вам показалось — «плачем»? Статья написана как раз для того, чтобы раскрыть истинную сущность этой так называемой «организации».alexiff
21.10.2016 23:15То есть вы мне сейчас говорите что представитель спамхауса регистрируется у вас и начинает хостить botnet/malware/spam или что нибудь ещё? )))
Процитирую классика «какие ваши доказательства?»
Вы говорите что они при общении вымогают деньги — можете хоть одно письмо показать? Просто все такие истории про спамхаус похожи одна на другую.
п.с. почему я назвал это плачем — минимум раз в пару месяцев на хабре появляется заметка о том какой гад спамхаус, при этом судя по тому что вы пишите я вижу что своих пользователей вы никак не проверяете.ondys
21.10.2016 23:24+2«То есть вы мне сейчас говорите что представитель спамхауса регистрируется у вас и начинает хостить botnet/malware/spam или что нибудь ещё? )))» именно это я и говорю, там выше есть ссылка на статью бывшего сотрудника спамхауса который прямо заявляет, что они используют такие методы в своей работе, ну не верю, я что найдется в мире такой человек который будет какждый месяц регистрироваться на ресурсе платить деньги зная, что его забанят, в течении 15 минут.
Вы говорите что они при общении вымогают деньги — можете хоть одно письмо показать? Просто все такие истории про спамхаус похожи одна на другую. — Они предлагают купить у них платную подписку для ISP, стоит от 5000$ это не вымогательство?
Не знаю как насчет -«раз в месяц», последняя статья была в 2015 году, но цель моей статьи раскрыть сущность этих жуликов, но никак не плач, плачем делу не поможешь, разумеется мы могли бы заплатить эти 5000$, но моя позиция жесткая — жуликам и вымогателям платить нельзя! иначе они начинают наглеть и завтра наедут таким же способом на какую то хорошую компанию у которой просто не будет такой возможности заплатить эти 5000$alexiff
21.10.2016 23:40Вы правда что-то темните либо спамхаус «выбрал» именно вас.
Мы с ними тесно общаемся уже более 3х лет, у нас история в 200+ кейсов с занесением в SBL лист и из них <2% были false-positive.
Какую подписку вам может предложить купить Спамхаус если вы hoster а не сервис по предоставлению почты? :) Их bgp feed с drop и CnC сетями?
То есть вам они лично предложили купить подписку и за это они исключат ваши сети из DROP + перестанут у вас заводить аккаунты тем самым подставляя вас? Или что именно следует за покупкой подписки?
Вообще никак не верю.
У меня всего один вопрос — как вы проверяете новых клиентов?ondys
21.10.2016 23:47Сейчас требуем от клиентов скан паспорта или какого либо документа удостоверяющего личность. Планируем ввести активацию по телефону (лично я против этого)
alexiff
21.10.2016 23:51Как бизнес вы правы что против — усложнение регистрации ведет к сложностям для клиента и он с большой долей вероятности пойдет к тому хостеру где все автоматически.
Как добропорядочный интернет пользователь вы обязаны проверять клиента максимально, если бизнес сильно против проверки по телефону то советую внедрят то что я описал ответом ниже + обучать L1 поддержку как мониторить заказы и на что обращать внимание, при обнаружение подозрительных личностей suspend-ить их и дальше звонить им либо просить сканы.ondys
21.10.2016 23:55Сейчас это более менее отлажено, есть некие поведенческие паттерны который дают понять, что перед вами с большой долей вероятности какая то темная личность (я кстати он них тоже написал в статье :) )
ondys
21.10.2016 23:53+1Платную подписку продает не сам спамхаус, а афилированные с ним конторы, я повторюсь, в моем посте есть ссылка, на статью их бывшего сотрудника, ну найдите вы время прочитать, о их методах работы, а то мы с вами в какой то бесконечный цикл входим, мне совершенно не интересно писать одно и тоже по несколько раз
alexiff
21.10.2016 23:56Вы знаете, я склонен не верить рассказам если сам лично не присутствовал или не имел схожий опыт.
ondys
21.10.2016 23:31+1«при этом судя по тому что вы пишите я вижу что своих пользователей вы никак не проверяете.» а вот с чего вы такой вывод сделали?
alexiff
21.10.2016 23:47С того что вы пишите такие вещи: «Таких клиентов отследить было просто невозможно» и при этом ни разу не рассказали какие заградительные меры у вас стоят и почему это невозможно.
Вы знаете как европейские хостеры проверяют клиентов?
Возьмем leaseweb — 1) регистрация 2) просьба прислать скан паспорда/ид 3) через сутки звонок и личное общение
linode — 1) регистрация 2) скан ид + скан банковской карты 3) ручная проверка таких данных как адрес в профиле, ип с которого пришла регистрация и т.д.
Я думаю что у вас тупо автоматическая регистрация, не стоит ни MaxMind ни Fraudrecord, не стоит ни IPS/IDS системы не запрета на 25 порт для новых клиентов.
Я прав?ondys
21.10.2016 23:59На основании какого закона мы должны требовать скан паспорта или скан банковской карты на услуги хостинга? Это прежде всего незаконно и противоречит ззпп (хотя мы требуем )
На основании какого закона мы должны закрывать людям 25 порт? на самом деле закрываем, НО только в том случае если видим подозрительное превышение трафика на этом порту
честно я писал про это в статье, сейчас перечитаю неужели этого нет, что мы весь трафик через снифер гоняем, с настроенными шаблонами типа DDOS или SPAMalexiff
22.10.2016 00:14-1Простите а причем тут законы? Я не говорил что кто-то кому-то что-то должен.
Это может быть только вашей личной инициативой а я лишь делюсь опытом западных компаний.
По поводу «гоняем трафик» через снифер — это не является превентивной мерой, это лишь означает что вы примерно имеете представление о том что происходит у вас в сети.
У спамхауса стоят свои сенсоры по всем сетям до которых они добрались и даже за несколько писем вы получаете SBL.
Несколько лет назад спамхаус начал банить за malware/botnet и остальные пакости которые без snorta/suricati или bro (платные продукты не буду перечислять) вы не увидите (физически не возможно столько сигнатур руками разобрать и самим шаблоны написать)ondys
22.10.2016 00:23+3Как это «причем здесь законы»? Мы работаем в РФ и просто должны подчинятся законам который действуют на территории РФ. Если мы публично заявляем, что предоставляем какую то услугу то мы просто обязаны выполнять Закон о Защите Прав Потребителя, а в этом законе ни слова нет, о том, что мы вправе отказать кому то в услуге только на основании того, что нам его лицо на паспорте не понравилось, да и мы и в принципе не имеем права требовать паспорт на оказание услуг хостинга, мы же не алкоголем в конце концов торгуем
ondys
22.10.2016 00:28А насчет трафика — как это не является? мы видим, что трафик попадает под опеределенные патерны и блокируем его, а как по вашему работают те же IDC\IPC сенсоры?
alexiff
22.10.2016 00:31IPS — intrusion prevention system — как раз система предотвращения прохождения пакета (обычно интегрируется с фаерволом)
IDS — intrusion detection system — система которая детектит/мониторит вторжения но не предотвращает.
Все 3 open-source системы которые я привел умеют работать в обоих режимах.ondys
22.10.2016 00:34Ок спасибо, правда мы сейчас рассматриваем покупку железяки типа Cisco IDSM
я писал в начале этот проект на низком бюджете и тестовый, просто показать, что рынок есть и работать на нем можноalexiff
22.10.2016 00:41Я не сильный знаток Cisco но из того что я вижу IDSM a) дорого б) это плата в каталист со всеми вытекающими (очень маленькая производительность)
У нас просто сервер на FreeBSD/suricata подключенный к SPAN порту 10G свича (очень дешево и очень сердито).ondys
22.10.2016 00:44Да это плата, но они каскадируются производительность у нее действительно не очень, а 10g хватает? Мы подумаем над таким решением, спасибо за наводку
alexiff
22.10.2016 00:58Хватает или нет — зависит напрямую от кол-ва трафика который надо переваривать.
Один такой сервер может проанализировать 6-7 гигабит.
Если покупать все б/у то можно уложиться в 500-600$
Погуглите по запросу «snort 10g performance»ondys
22.10.2016 01:04Я боюсь там одна сетевуха 10g будет долларов 200 стоить, у нас сейчас под это дело используется bl460 с 10г сетевухой, но она не справляется временами
alexiff
22.10.2016 11:57Зачем гадать ?)
На ebay лежит пачка новых за $106 (включая доставку)
Модель Intel X520 da2
Если вы конечно хотите что-то такое собирать на базе c7000 то тут я не советчик но я бы собирал отдельно 1U (дешевле и доступней)
MxMaks
22.10.2016 11:45+1Я размещал на серверах более 3000 сайтов. Брал несоклько дедиков, VDS, доп ИП адреса. Брал в Россия, Европа, US. Оформлял на всяких Petrenko, Sidorenko и ниразу никто не задавал вопросов об использовании, не требовал никаких сканов либо телефонных звонков. Иногда сервер выдавался сразу после запроса в ICQ. Но и не вредительствовал само собой, были абузы на копирайт, оперативно реагировал.
ondys
22.10.2016 11:49Дедик когда берете просят, что то прислать, во всяком случае раньше так было, давно дедики не брал в аренду, больше сдаю
MxMaks
22.10.2016 21:09А чем дедик отличается юридически от тоже же vps что обязательно просят что то прислать?
ondys
22.10.2016 21:25если честно -не знаю, у меня нет опыта по аренде VPS, дедики брал в Херцнере, в ПлюсСервере и в OVH просили скан паспорта, правда повторюсь — это очень давно было как сейчас -не знаю
sergio_deschino
22.10.2016 00:23Хм, никто меня не просил нигде присылать скан паспорта и скан моей банковской карты. Звонили пару раз, да.
ondys
22.10.2016 00:26ну по совести Херцнер и OVH просят, но в РФ я считаю это не законно
alexiff
22.10.2016 00:35Кстати нам в случае с СНГ сканы паспортов так и не помогли :) Человек присылал паспорт и сразу после активации начинал спамить, нас это достало и мы просто целиком запретили некоторые страны (в том числе ближайших соседей)
ondys
22.10.2016 00:42Ну мы себе такого не можем позволить, у нас порядка 600 клиентов из Китая, но спама от них нет, а вот DDOS бывает, причем входящий, да и мы с ними сурово обходимся — скан портов -бан, так что в основном остались вполне нормальные ребята которые используют наш сервис для игр в стиме или просмотра youtube
Насчет ближайших соседей тоже ничего плохого сказать не могу, возможно просто наш сервис не так известен и клиентов пока мало, так как мы особо не пиаримся, сейчас больше занимаемся отладкой инфраструктуры и улучшением внутренних процессов
sergio_deschino
22.10.2016 00:37Немцы ни разу не просили, правда, возможно потому что с немецкого же счета и оплачивал. Нидерланды тоже были удовлетворены данными и пэйпал аккаунтом. Просили только в РФ на регистрацию домена, все.
alexiff
22.10.2016 00:28Вы про leaseweb? Меня просили любой ИД. (было год назад)
Если про linode — просили неделю назад паспорт + банк. карту.
bitrixworkshop
21.10.2016 21:57+2Хотелось бы спросить у сообщества – какой смысл в черных списках для e-mail в 2016 году?
Я пользуюсь. Но не спамхаусом, т.к. слышал, что они занимаются такими делишками, как описано в статье.
Пользуюсь наряду с проверкой SPF, DKIM и обратного адреса. Отсекает много спама, работает быстро.
sergio_deschino
21.10.2016 23:01+3Надеюсь, дело дойдет до суда и Вы его выиграете.
ondys
21.10.2016 23:03+1В России скорей всего да, но вот в UK не уверен, что просто дойдет до суда. Кстати за такой отказ от предоставления услуг я думаю вполне можно и лицензии лишится (но тут я совсем не уверен)
sergio_deschino
21.10.2016 23:06+1Если их листы будут недоступны хотя бы в РФ, то уже хлеб. Лучше подавайте в Европейский Суд, хотя нюансы с Брекзитом пока не совсем понятно как отразятся на его валидности в ЮКей
ondys
21.10.2016 23:13+2Они уже проиграли суд в USA, но быстро заявили, что американский суд захватили cybercrime и они не подчиняются решениям суда США
sergio_deschino
21.10.2016 23:21+2Про Европейский Суд я вполне серьезно. Если они его проиграют, то это финиш для них.
mxms
22.10.2016 00:37+1DNSBL использовались, используются и будут использоваться очень широко. И это хорошо и полезно.
Вопрос в том, как именно они используются потребителями, так сказать, этих данных.
Слепо и полностью доверять их данным, по-меньшей мере, странно. А вот как часть комплексного анализа — почему бы и нет.
Кстати, как бы то нибыло, но Спамхауз наиболее полно изо всех DNSBL отражает источники спама в сети на сей момент.
sumanai
22.10.2016 02:59+1Кстати, как бы то нибыло, но Спамхауз наиболее полно изо всех DNSBL отражает источники спама в сети на сей момент.
А самая полная база содержит лишь одну запись:
0.0.0.0/0mxms
22.10.2016 22:47Полнота подразумевает наличие в их базе IP определённо спамовых сообщений. Т.е. при тесте берётся актуальный набор спама и проверяется на вхождение их источников в базы того или иного DNSBL. Так вот, Спамхауз даёт попадание под 90% что очень и очень много.
sumanai
23.10.2016 00:09А моя запись покрывает 100% спам-сообщений, что ещё больше.
mxms
23.10.2016 15:54И не спам. Это важно.
Chamie
26.10.2016 20:23А это в вашем тесте тоже проверяется? И как?
mxms
26.10.2016 21:54Там схема довольно простая но с некоторыми хитростями.
Грубо говоря, собираются IP входящих соединений и в зависимости от того, на какой стадии завершён приём почты (их пока 5 + ещё один в виде пользовательской фильтрации) с определённой периодичностью тесты на вхождение в тот или иной DNSBL.
На реальном мультидоменном почтовом хосте примерно около 5000 IP на сегодня в месяц проверяется с тенденцией к росту.
Я надеюсь довести скоро этот проект до публикации в виде сайта.
bitrixworkshop
22.10.2016 07:17У них полнота обеспечивается сомнительными методами. Соответственно, нет гарантии, что конкретный заблокированный IP действительно рассылает спам.
mxms
22.10.2016 22:52Согласен. Но если бы в этом деле были какие-то гарантии, то спам был бы уже практически побеждён. Именно поэтому я и написал о том, что учитывать данные можно, но верить на 100% — точно нет.
sumanai
23.10.2016 00:13А разве он не побеждён? Его количество начало снижаться, что говорит о том, что в него не вкладывают как раньше. Я вижу спам только на своём ящике для помойных регистраций на рамблере, на моих основных ящиках спам есть только от самих компаний, ну там про яндекс-диск на яндексе или мой мир на мейл-ру. Весь спам переходит в соцсети, туда, где пользователи.
mxms
23.10.2016 16:01+1Вы видите дай бог 1% (включая попадающее в папку «спам») от попыток отправки в ваш адрес спама. Спросите у любого постмастера. Проблема есть и сделать с ней в ближайшее время вряд ли что-то получится.
И эффективность этой фильтрации, в том числе, обязана и чёрным листам по IP адресам.sumanai
23.10.2016 16:17Проблема есть
Вы видите дай бог 1%
Значит нет проблемы. Со спамом научились бороться, и чёрные листы там- один из многих оцениваемых параметров, притом не самый важный.
Buggy777
22.10.2016 00:51Аналогичный сервис просто так внес мой ip в черный список. Один раз можно бесплатно исключить, потом за деньги. И тут же предложение за внесение ip в белый список от 25$ в месяц до 225$ в год, а то вдруг попадет в серый или черный списки.
bitrixworkshop
22.10.2016 07:16Какой? Было бы полезно держать черные списки сервисов черных списков.
hardegor
22.10.2016 10:38У меня вот такой список сохранился:
dnsbl.njabl.org
dul.ru
list.dsbl.org
bl.spamcop.net
не знаю, живые они или нет, лет 5 не пользуюсьbitrixworkshop
22.10.2016 11:02У меня в рабочем конфиге postfix забито:
reject_rbl_client bl.spamcop.net,
reject_rbl_client cidr.bl.mcafee.com,
reject_rbl_client b.barracudacentral.org
У вас же bl.spamcop.net считаются мошенниками?mxms
22.10.2016 23:00Свят-свят. Spamcop имхо, как раз, самые правильные ребята из всех.
Kalashmatik
23.10.2016 18:28Подтверждаю, не раз общались по поводу спама с адресов сети (бывает у всех я думаю), всегда оперативно и корректно исключали, разумеется никаких вымогательств и ложных внесений, в общем думаю реально самые адекватные. Сейчас правда репорты присылают за bounce письма, но пока без жестких санкций, а отключать все bounc'ы тоже не совсем правильно
mxms
24.10.2016 11:10В смысле за баунсы? Ваши или кто-то от вашего имени?
Kalashmatik
24.10.2016 14:53ну bounce письма, в народе еще «рикошетами» зовутся, вот тут spamcop объясняет свою политику вопреки RFC822
mxms
24.10.2016 16:17Так это они про «misdirected messages» aka backscatter
Правильно делают.
Я пользуюсь BATV и не имею с этим вообще никаких проблем.
ZAZmaster
24.10.2016 10:33А разве cidr.bl.mcafee.com не аффилиант спамхауса? По крайней мере у меня в логах ссылка на спамхаус выводится =)
?2016-10-24 12:29:16 H=(affiliatehbizclub.com) [181.208.182.216] F=<info@UPSTREAM.co.uk> rejected RCPT <alexeev@***.ru>: rejected because 181.208.182.216 is in a black list at cidr.bl.mcafee.com\nhttps://www.spamhaus.org/query/ip/181.208.182.216
vadoo
23.10.2016 13:26Прошло лет 10 и место «короля адекватности» вместо sorbs занял spamhaus))
Kalashmatik
23.10.2016 18:29а sorbs похоже загибаются, нашел там несколько своих адресов года с 2013-го, но ни от кого жалоб на проблему почты не поступало, хотя с этих адресов идет много легитимной почты, т.е. видимо их списки никто не использует
gtbear
Я что раньше их недолюбливал, что сейчас не люблю. Я не очень понимаю как может жить блеклист в котором данные просто принципиально не удаляются? Сеть же живая, и то что было актуально еще час назад сейчас может быть мягко говоря устаревшей информацией. Особенно облачные окружения.
masterspline2
> Я не очень понимаю как может жить блеклист в котором данные просто принципиально не удаляются?
Что, даже за деньги не удаляются?
FatLamer
один из списков требовал за исключение 200$ за час(!). Был благополучно послан.