В один прекрасный день я столкнулся с проблемой. Некто решил вытащить всю мою базу штрихкодов, для чего во много потоков, с разных адресов, с хорошей базой UserAgent'ов стал ее парсить. Нагрузка на хостинг возросла в десятки раз, до неприличной. Игнорировать ее не получилось. Ждать, пока боты насытятся пришлось бы очень долго, поскольку там несколько миллионов страниц, а боты еще и простым увеличением числа пытались что-то найти, т.е. половина запросов шла мимо. Разовый бан не помогает, при снятии блокировки, даже через месяц, DDoS возобновлялся.
Простейший анализ whois показал, что все запросы идут с одного хостинга, возможно, распределенного, но с одним владельцем, причем, из России. Попытки связаться по abuse@ ничем не увенчались, либо в ответ была тишина, либо вообще приходило сообщение об отсутствии ящика. Тем временем количество диапазонов адресов, которые я вручную выбирал по активности из журналов, перевалило за полсотни…
С технической точки зрения все было достаточно просто и всего лишь жалко было убиваемого на забанивание времени. Кстати, пользуясь случаем, подчеркну, что все рекомендации при DDoS пользоваться iptables, которые есть в сети, лучше забыть. После вороха цепочек «столы» начинают достаточно заметно тормозить отклик сервера. Осильте ipset, она того стоит.
И тут я вспомнил о том, что в нашей стране есть надзорный орган, который не раз ставил меня в тупик требованиями убрать темы с форума по требованию суда. Суд обычно находился от меня в тысячах километров и его решение добыть можно было большими усилиями, а понять, какая еще детская порнография содержится в теме по автоматизации торговли, нам не удалось и коллективно. Но это я отвлекся. Итак, есть Роскомнадзор и я решил попросить помощи.
Обращение можно подать здесь: rkn.gov.ru/treatments/ask-question
Что я и сделал.
Добрый день,
периодически, когда я снимаю защиту, меня начинает DDoSить большим количеством запросов конкретный хостинг DEPO40, но с совершенно разных IP-адресов. Почта abuse не откликается. Судя по всему, владелец — гражданин РФ. Я стал собирать список адресов, которые меня атаковали, по whois — это диапазоны совершенно разных мировых сегментов, объединенных одним только именем владельца. Что интересно, записи whois по этим сегментам дублируются и дубли относятся к разным странам, а в целом количество диапазонов, разбросанных по миру, впечатляет и наводит на неясные подозрения. В связи с лимитом символов дам на список сегментов ссылку: olegon.ru/showthread.php?t=26882
Прошу сообщить, не занимается ли в данном случае владелец хостинга чем-то противоречащим законодательству РФ и нормам, принятым в Интернете в целом, и какие меры к нему будут приняты, если мои подозрения подтвердятся.
На следующий день пришло уведомление, что обращению присвоен регистрационный номер и что ответ будет дан в течение месяца. Прямо так и настроение улучшилось, что у нас что-то действительно работает. И, действительно, через 17 дней пришел ответ…
Уважаемый Олег Андреевич
Управление Роскомнадзора по Центральному федеральному округу (далее — Управление) рассмотрело Ваше обращение, поступившее с официального сайта Роскомнадзора (от 13.06.2017 № 02-11- 13237/77), и сообщает следующее.
Управление в соответствии с Положением об Управлении, утвержденным приказом Федеральной службы по надзору в сфере связи, информационных технологий и массовых коммуникаций от 25.01.2016 № 38, осуществляет в том числе государственный контроль и надзор за соблюдением законодательства Российской Федерации в сфере информационных технологий и связи на территории Москвы и Московской области.
В соответствии с пунктом 18 статьи 2 Федерального закона от 27.07.2006 № 149-ФЗ «Об информации, информационных технологиях и о защите информации» под провайдером хостинга понимается лицо, оказывающее услуги по предоставлению вычислительной мощности для размещения информации в информационной системе, постоянно подключенной к сети «Интернет». Указанные услуги не являются услугами связи. Доступ к информационно-телекоммуникационной сети «Интернет» предоставляется провайдеру хостинга оператором связи на основании договора оказания услуг связи.
В связи с этим деятельность провайдеров хостинга в настоящее время не требует получения лицензии на оказание услуг связи и не регулируется действующим законодательством в области связи.
Данное решение, действие (бездействие) Вы вправе оспорить непосредственно в суде или в вышестоящем в порядке подчиненности органе государственной власти.
И.о.заместителя руководителя И. П. Рак
Вспомнилась одна из моих любимых гифок
(извините, кому-то гифка показалась слишком большой (20Мб), я ее положу ссылкой).
В общем, выводы сделаете сами. Надеюсь, я сэкономил кому-то эти 17 дней для того, чтобы предпринять какие-то действительно действующие меры.
Поделиться с друзьями
mwizard
Я перечитал их ответ три раза, и так и не понял, как их ответ связан с вашим запросом.
olegon-ru
Сознаюсь, я вообще не с первого раза понял, что они написали.
А связь с запросом не нашел вообще…
eisaev
А не тянет ли это на заявление в прокуратуру в связи с отсутствием ответа по существу заявления от гос. органа в установленный законодательством срок?
2fidel
А не ответит ли прокуратура в том же ключе )))
Mikeware
примерно также на запросы отвечает Почта России…
что наводит на определенные мысли.
LexB
Тоже сталкивался с подобными отписками от гор. администрации.
Думаете департамент отмазок все-таки существует?
Mikeware
Нет, скорее всего где-то существуют специальные тайные курсы для сотрудников госучреждений и госкорпораций…
bondbig
Это просто как условие при приёме на работу. Тестируют на собеседовании.
Ugrum
"Уважаемая Елена Петровна, к сожалению вы не указали своего отчества, бла-бла-бла...."
Одна моя знакомая регулярно получает ответы на свои запросы, вот в таком виде. Из разных инстанций. Таки департамент отписок не только существует, но и работает в автоматическом режиме.
Samoglas
Коммерческие конторы отвечают коротко, но так же бесполезно.
Мегафон месяц не может асилить доставку SMS с Gmail и Rutaxi, на моей стороне проблемы, говорит.
Билайн, Qiwi, Samsung, Zyxel, Tele2 — все они в духовном родстве с прокуратурой и Роскомнадзором. (:
Pakos
А, не, ответит! Конечно ответит в том же ключе. Писал как-то жалобу в ГАИ — ответили примерно то же на лист, сократить можно до 8 букв, 2 пробелов и точки.
ЗЫ. правка — одну жалобу, на много таких ответов меня не хватит, чуть более по существе ответил участковый через 3 месяца из 1 отведённого — инцидент сам собой исчерпался.
AVX
Прокуратура отвечает примерно в том же стиле. Типа, ничего незаконного не выявлено, всё ок. Другой вариант — они перенаправят запрос тому же, на кого Вы пожалуетесь.
u010602
Связь с запросом можно считать не связанной с договором оказания услуг связи. В связи с этим регулятор оказания услуг связи не нашел связи между вашим запросом и его полномочиями в сфере оказания услуг связи.
Все связи и не связи могут быть оспорены в суде связи.
:)
Noizefan
Насколько я понял — обычная отмазка, вроде «клиент какого-либо хостинга вправе делать что он пожелает, но если Вы такой умный и готовы поспорить, то пройдёмте в суде разберёмся»
bopoh13
Как минимум, не забудьте указать пункты нарушенной нормы права, а то нарушения мы не видим.
2fidel
Я по ряду внутренних загонов и принципов на постоянной основе переписываюсь с органами госвластии управления. Так вот, скажу я вам, этот пример показательный.
ВСЕ ОТВЕЧАТЮТ ТАК ЖЕ.
svboobnov
Так всё просто же: Ребята, мы занимаемся провайдерами связи, а Вы спросили про хостера.
А хостерами мы не занимаемся. Хотите, идите в суд по правам человека или ещё куда…
jet1988
Я думаю, они, когда получили запрос, тоже ничерта не поняли. Просто примите тот факт, мы с ними живём в разных мирах.
vlivyur
По-моему, они в рыбу забыли ответ вписать.
vagonovozhaty
nerudo
Да, ГПУ действовало эффективнее ;)
StjarnornasFred
Сталина на них нет ;)
ivan386
Они цензурой занимаются, а не защтой сети. Я думал вы свой хостинг заблокировали что они не могли к вам подключиться.
olegon-ru
Мне кажется, Вы меня обманываете.
Шучу. На самом деле до того, как писать, я все же почитал про их цели и задачи, вполне себе укладывались…
Barma2012
Вы как будто первый день в этой стране живёте )))
Да насрать им на ваши проблемы! Эта контора создавалась для совершенно других целей, что и было ясно с самого начала. А те организационные функции, которые прописаны в её уставе (или где там ещё), и которые действительно могли бы быть нужны интернет-сообществу — это всё муляж. Точно так же, как муляжами в России являются и многие другие структуры, от системы выборов и до так называемой «полиции».
Sovigod
DEPO40 — это же продавцы проксей. Реально ужасные люди. Тоже нас парсили через них. выделил самые бредовые UA и по ним автоматически наполнял ipset. Адреса держал в списке 1 сутки.
Ручками наполнять — боль. У меня в итоге в список разрастался до 25к ip адресов. А вообще у них их в разы больше.
olegon-ru
Увы. У меня выделить UA не получилось никак. Вполне себе реальные были. Сутки держать мало. Как я уже писал, они продолжали ломиться и после месяца отсидки в бане. Ручками наполнял следующим образом: ловил адрес с ненормальной активностью, смотрел его диапазон в whois и банил не адрес, а весь диапазон целиком. Кстати, в тексте обращения есть ссылка на список найденных диапазонов, можете взять себе, проверял руками, но там есть те, что можно для оптимизации объединить. Если нужно, достану уже объединенный.
tmin10
А если cloudflare и защита от DDoS? Там будет капчу выдавать особо подозрительным.
poznawatel
Если некто решил вытащить базу штрих-кодов, ну и напишите скрипт, который станет выдавать липовые/искажённые данные. Накормите ботов г… м (глицерином) :)
zaq1xsw2cde3vfr4
так проблема не в секретности базы а в забитом канале
olegon-ru
Даже не забитом канале, а перегруженном запросами сервере (CPU/IO)
TrurlMcByte
Я в таком случае отдаю фейковые, наглухо кеширующиеся, данные. Но у меня свой облачный CDN с gdnsd, то есть я могу вообще для таких поднять временный сервер, чтоб даже трафиком не грузили.
TheShock
Ну так если будут выдаваться фейковые данные, то не будет смысла парсить штрих-коды?
mayorovp
Так учитывая наличие API для получения данных, парсить страницы сайта нет смысла и сейчас. Но дураков такие мелочи не останавливают....
9660
А почему не выставить лимит коннектов(реквестов), скажем, 60 rpm на ip.
Дополнительно по логам банить чем-то вроде Fail2ban на сутки тех кто этот лимит превысил.
Боты дающие 60 rpm безобидны, пусть качают.
olegon-ru
А если ботов 100к, как в моем случае? 100к*60=6 000 000 rpm. Уже несколько обиднее, не так ли? :)
9660
Так они в течении пары минут будут практически все забанены. И дальше будут только свежепоявившиеся участвовать.
Но да, все от ситуации. Сильнее всего удивил ручной анализ логов.
Или вы имеете ввиду ситуацию когда боты будут вести себя по джентельменски в пределах лимита?
На какое число клиентов изначальный расчет предполагался?
mrigi
Я так и не понял как 100к ботов могут несчастные 2 миллиона страниц качать несколько дней. Логично предположить, что с такими мощностями вы и заметить атаку не успели бы.
TheShock
Так из-за атаки все тормозит безбожно и потому оно растягивается на дни.
olegon-ru
Они еще и не точечно страницы забирали, а перебирали все подряд, брутфорсом.
ValdikSS
Так вы бы просто заблокировали все диапазоны нашего любимого фейкового датацентра для скама DEPO40, и его владельца Трусова Ильи Игорьевича. Диапазоны доступны публично: некоторые в AS50896, некоторые отдельно (и еще).
Позвоните ему на телефон +7 (953) 310 00 64. На почту писать бесполезно, как я понимаю, т.к. и сайт, и почта сделана только для скама (присмотритесь: на сайте не работает ни одна кнопка), а на телефон он отвечает.
dartraiden
BlackMokona
Думаю с не меньшей эффективностью можно писать в спортлото.
olegon-ru
Мы тут опытом делимся, я поделился, хоть и отсутствием результата.
sim2q
спасибо!
Если честно — читая почти до конца надеялся позитивно удивиться… но нет :(
sgjurano
Там написано следующее: деятельность хостинг-провайдеров на данный момент законодательством не регулируется, поэтому помочь в рамках закона не можем, сорян.
lash05
— какие законы нарушил некто?
Если Вас суд (!) просит убрать нечто, то и Вы можете подать в суд на некого (как вы считаете) нарушителя.
ilammy
Статью 13.18 КоАП, но об этом надо вроде как в полицию писать, а не в Роскомнадзор.
u010602
Мне кажется это другой случай. Тут просто человек получают информацию с сайта, которую сайт и предоставляет. То, что человек снимает быстрее чем сайт готов отдавать — не значит что он умеренно пытается положить сайт. Нужны доказательства что цель именно положить сайт.
ilammy
Вот пусть МВД и находит этого некту и выясняет, намеренно он так делал или нет, и получает доказательства. Это их работа, а не вебмастера или Роскомнадзора.
u010602
Разве не обвинитель должен доказывать свою позицию? Хотя-бы в первоначальном виде. Тут даже по описанию в письме выходит, что преступления нет. МВД такое заявление так-же не удовлетворит.
rPman
Лучшее что вы можете сделать, выложить базу в открытый доступ :)
avacha
Гипотетически — да, практически — те, кто парсят, потом используют базу в коммерческом продукте и будут очень довольны. Какое-нибудь мобильное приложение для списка покупок с автоматическим добавлением покупки по штрих-коду.
yul
И это плохо?
sotnikdv
Попробуйте им отдавать фейковые данные :)
rPman
в результате это еще сильнее повысит нагрузку
bogolt
Так никакой нагрузки на диск при генерации фейковых данных. Да и на процессор поменьше должно быть.
VagabundSketch
Фейковые данные можно брать из кэша, что снизит нагрузку.
igrig
Я не понял, как заголовок статьи коррелирует с собственно, содержанием. Не помешали бы выводы с вашей стороны, а то я голову сломал, ркн не помог? А должен был?
P.S. Ну и отдельное спасибо за гифку в 22 метра, которую я так и не оценил.
DarkByte
Вывод: Роскомнадзор, как средство отражения DDoS, — не работает. И не должен был, скорее всего.
QWhisper
Ну таким макаром можно еще попробовать их на пожар вызвать. А потом написать, что как средство тушения пожара РКН не работает. РКН вроде никогда и не говорили, что они помогут от DDoS, они чисто по педофилии, самоубийствам, терроризму и пр. Вот если бы автор написал, что террористы, парсят базу педофильского порно, тогда да.
indiamed
я тоже сталкивался со спамом своих форумов с ай пи адресов DEPO40. Проблема решилась просто — забанил все сегменты с которых шел спам и больше не вижу их ай пи и спама на форумах.
Sovigod
если верить их рекламе — у них 100к адресов в более чем 250 различных подсетях. У вас есть список всех их сегментов? Или только кусочек?
saboteur_kiev
У некоторых в IPv4 уже адресов не хватает. А тут 100к адресов у каких-то *удаков?
Кстати, что произойдет в IPv6 — Роскомнадзор в принципе же не сможет его заблочить или как?
igrig
Раньше ipv4 пачками выдавали, десятками миллионов (сети класса А, /8) ибо дефицита не испытывали даже гипотетички на тот момент. Всякие ibm'ы и ксероксы использовали их в локалке, а чё бы и нет. Это при условии, что у них устройств то столько не было.
tyomitch
Угу, один профессор в Технионе рассказывал, что они успели отхватить сеть класса А, пока их давали всем кто попросит, и теперь один из существенных источников дохода Техниона — сдача в аренду IP-подсетей.
В то время, думаю, даже во всём интернете не было столько устройств — не то что в локалке IBM.vlad_bo
Говорят, правильно заданный вопрос содержит половину ответа.
Запрос должен, если не поражать знанием законов, то вызывать уважение ясностью определений и побуждать к действию!
К примеру: граждане такие-то (список) совершают против меня противоправные действие (ст. такая-то УК РФ), вот доказательства (прилагаю). Прошу принять меры (поймать и обезвредить).
А Вашем запросе — сплошные сомнения, неуверенность и отсутствие чётких формулировок.
Что же Вы просите сделать?
Спрашивали? Отвечаем:
То есть, в переводе на русский: Ничего незаконного, даже лицензию у него отобрать невозможно, за неимением таковой.
А как ещё можно было ответить на такой запрос?
olegon-ru
Давайте сразу определим позицию обычного среднестатического гражданина, который не сидит по уши в законодательстве, о которое не вытирает ноги только ленивый. По крайней мере в том виде, как ее вижу я в нормальном, здоровом государстве.
Если гражданина беспокоят и он подозревает, что это происходит незаконно, то он не бегает по потолку, выбирая диспозицию и отлавливая нарушителей, а сообщает в организацию, где работают специально обученные для таких действий профессионалы. Понятно, что работу этих профессионалов он оплачивает налогами. В нормальном варианте развития событий гражданин должен требовать, чтобы профессионалы ему помогли, либо иметь возможность налоги не платить.
Если граждане будут самостоятельно отлавливать убийц и грабителей, квалифицировать их действия по статьям различных кодексов, собирать доказательства, тогда какой смысл наличия этих самых организаций, о которых я говорил выше? И когда тогда граждане смогут быть профессионалами в том ремесле, которое они выбрали основным в своей жизни?
И требования Роскомнадзора убрать что-то с ресурса, хостинга, вспомним, опять же, Телеграм, совсем не коррелируют с тем, что, оказывается, каждый хостинг сам себе хозяин и никаких рамок поведения у него нет. Я, конечно, сужу со своей колокольни, но, мне кажется, что я не одинок в таких размышлениях.
vanxant
Всё правильно пишите. Вишенка на торте: называется такая организация… па-пам! Прокуратура!
В ней как раз и работают специально обученные юристы, получающие зарплату из налогов, призванные защищать права простых граждан (а также всех остальных субъектов правоотношений)
alek0585
Ваши подозрения там никому никогда не будут нужны. Также как и личные проблемы незнания законов своей страны. Нужны факты. В случае правонарушения вы их обязаны предоставить. Проще донельзя, Ватсон!
u010602
Я лично считаю что законодательство можно разделить на общее и специализированное. Общее это по большей части уголовный кодекс, он как раз должен быть понятен среднестатистическому гражданину, который ходит на работу и знает что нельзя воровать убивать и тд, а то посадят.
А специализированное законодательство регулирует отношения между людьми и организациями.
В первом случае человек бросает вызов системе в целом, и судится государство с человеком. Во втором люди решают спор между собой.
И будем честными — среднестатистические люди не имеют сайтов, не ддосятся и не ддосят, и в суды по таким вопросам не ходят. Т.е. это совсем не среднестатистический вопрос, а вполне конкретный нишевый для айти бизнеса, и каждый айти бизнесмен должен сидеть по уши в законах, регулирующих его бизнес. Ну или нанять юриста для этого. Иначе это уже наивная позиция, мол мое дело работать, а дело кого-то решать все остальные вопросы. Такое бывает у рабочего на заводе, но не у бизнесменов.
Кроме того, органы власти и регулирования — не являются органами обучения и разъяснения. Если они будут давать юридические консультации и объяснять каждую ситуацию — то им некогда будет делать свою работу.
Т.е. если вам кажется что ваши права ущемлены, алгоритм такой:
1) собираем детали и факты
2) идем к юристам по вашему профилю
3) рассказываем им вашу ситуацию, спрашиваем законно ли это и что можно сделать
4) если не законно — готовим с юристами заявление в нужный орган
5) подаем
6) ждем
7) таскаемся по судам и инстанциям, готовим доказательства, обоснование нанесенного ущерба, и обоснование желаемой компенсации
8) судимся
9) если победили — пытаемся стянуть то, что постановил суд и не дать отмазаться проигравшему
4б) Если все законно — пьем пиво с друзьями и жалуемся им на жестокость мира
7б) Если нет доказательств преступления против вас — вы проиграли, за вас искать не будут
7в) Если нет документального ущерба — суд ни чего не сделает. Вам нужно доказать что из-за чьих то действий вы понесли убытки, и эти убытки вам могут компенсировать.
7г) Вы не можете просить суд наказать не по закону, нельзя попросить заблокировать доступ к хостингу из-за того что вас ддосили с его айпишников. Можно вменить штраф и попросить компенсацию. Если штраф мелкий, и компенсации нет — то ни чего не сделаете, будут платить и делать дальше.
9б) Если проиграли — смотри пункт 4б
9в) Если сильно захотеть можно не платить, даже когда проиграл, достаточно сделать так, что платить нечем. Например банкротство или еще что. Потому проверка что можно скачать — это первичная проверка в юридической консультации. Если рыбка мелкая — то считайте проиграли.
Еще раз в качестве резюме.
Задача уголовного аппарата — полностью искоренить уголовные преступления, а все уголовники плохие люди.
Задача всех остальных аппаратов — сделать работу системы (государства, отрасли) более прибыльной. Те кто нарушают такие законы — не плохие люди, просто их интересы государство считает ниже, интересов пострадавших людей, и пытается компенсировать это за счет штрафов и прочего. Создавая цепочки перетекания денег.
Если денег нет, перетекать нечему — то и на вас всем плевать. Это как дети в песочнице, которые делят пасочки. Взрослым плевать на пасочки, и им все равно на то, кто прав, а кто нет. Отберут у обоих и домой загонят, чтоб голову не морочили. Или просто скажут — разбирайтесь сами, только не деритесь.
П.С. Я не говорю что это хорошо, или плохо, просто описываю как это есть.
AleXP3
Так Роскомнадзор на Ваш запрос совершенно не двусмысленно ответил: действия провайдера хостинга Законы не нарушают.
vlad_bo
А я не призывал заниматься самоуправством.
Я предлагал, по возможности, чётко (хотя бы для самого себя) сформулировать суть проблемы и предложить возможные пути её решения.
Вы ведь хотите, чтобы Вашу проблему действительно решили? Или просто потроллить РКН?
Так это они и сами неплохо умеют.
amarao
Если нужно фильтровать десятки тысяч чего-то, то очень рекомендую openvswitch. В объёмах памяти для dataplane он способен фильтровать за O(1) от числа правил. Умеет L3/L4.
eov
На мой взгляд жаловаться в РКН бессмысленно. Спасение утопающих — это дело самих… Я бы сделал так:
olegon-ru
Благодарю, к сожалению, fail2ban не подойдет, в силу того, что он создает достаточно большую нагрузку при достаточной посещаемости, да и особо regexp с частотой запроса не подберешь. Остальные меры все уже реализованы.
RPG
Поделитесь, пожалуйста, источником «остальных мер» — думаю, другим читателям будет полезно.
YetAnotherSlava
Кстати, хорошая идея — спарсить базу штрих-кодов.
olegon-ru
Если думаете, что уникальны с этой идеей, то глубоко заблуждаетесь. Мне кажется, что эта идея возникает приблизительно каждый день у того или иного пользователя. Непонятно только, зачем это делать. База у меня бесплатная, если не дрючить ее тысячами запросов в минуту. И пополняется каждый день на несколько тысяч или даже десятков тысяч штрихкодов.
Fedcomp
Ну например потому что у вас на сайте стоит защита от adblock. Вполне себе нормальная идея спарсить сайт чтобы каждый раз не смотреть на несчастные банеры.
olegon-ru
Для тех, кому очень не нравятся симпатичные баннеры в терпимом количестве, есть API с JSON.
А так — надо же как-то сервер кормить и апгрейдить…
Hellsy22
Судя по тому, что какая-то 1000 запросов в минуту кладет вам сайт, а отдача миллиона страниц приводит к необходимости вмешиваться лично, вы собираетесь проапгрейдить Raspberry Pi A до B или даже B+?
Chamie
Готов пожертвовать EeePC 701 ради такого дела.
RanmaSao
А если база бесплатная и Вы не получаете серьезный профит от ее показа через свой сайт (про этот пункт не знаю, но предполагаю), то почему бы не отдать ее желающим через торренты? Можно CVS, а можно даже в виде готового контейнера для какой-нибудь VM с LAMP внутри, типа "любитесь сами".
olegon-ru
База обновляется и добавляется по нескольку тысяч штрихкодов в день, а несерьезного профита мне хватает для альтруизма. Да и в тему, интересен ресурс и возможное его применение. 1Сники вовсю используют.
Barabek
В начале статьи, я ожидал, что вы воспользуетесь дырами системы РКН для блокировки злоумышленников
Dromok
Хмм… а почему вообще Роскомнадзор должен заниматься подобными случаями? Или я чего-то не понимаю? Мне бы никогда в голову не пришло бы писать им по подобному поводу. Тут даже отдел «К» не поможет, так как насколько я знаю, нет ничего противозаконного в создании большого количества подключений к какому-либо сайту. Так что сам орган в данном случае совершенно и не должен был никак реагировать.
И почему у вас не стоит лимит на количество одновременных подключений с одного IP? Для подобных случаев идеально подходит csf (https://configserver.com/), и подобные ддосы не будут беспокоить. Кстати, он как раз создает правила для iptables, только делает это самостоятельно и без загонного синтаксиса. А то что у вас из-за iptables, что-то стало тормозить, так просто вы сделали что-то не так. Использую его с 2007 года на десятках серверов и никаких тормозов никогда замечено не было.
Dromok
В csf очень много правил по которым он сам отлавливает и автоматически банит IP. А также очень легко банить вручную всего одной командой csf -d 123.4.5.6
olegon-ru
Вы просто невнимательно прочитали описание ситуации. С одним IP вообще бы проблем не было. Этих IP были тысячи, с разных сторон планеты, я их банил целыми сегментами, до седьмого пота. Преимущество ipset в этом функционале уже ни для кого не секрет, кто пробовал. Абсолютно никакого загонного синтаксиса, просто удобно держать список адресов отдельной сущностью, которая еще и в разы быстрее работает, чем куча правил. Приведу пример
первая строка создает список, вторая говорит столам, что надо с этим списком делать, третья — добавляет в список какой-нибудь адрес. Все! Собственно, для пополнения списка на дроп, нужно всего лишь повторять последнюю строку необходимое количество раз.
Большое количество подключений к сайту, от чего сайт начинает тормозить и накрываться медным тазом, называется DDoS. И, как мне кажется, это не очень законное деяние.
Dromok
Я как раз внимательно прочитал, а вы мой комментарий не внимательно :). CSF банит автоматически. У меня на сервере сейчас в бане около 20 тысяч айпи и это только за последние три дня. Видимо какой-то слабенький ддос был.
CSF использует ipset для бана большого количества IP.
На текущий момент это абсолютно не противозаконно и как правило в случае таких ддосов с каждого IP идет большое количество подключений и вот поэтому надо ставить лимит на максимальное количество допустимых подключений с одного IP, о чем я писал выше, это делается в csf.
olegon-ru
Благодарю, однако для меня CSF избыточен, но я еще более внимательно его изучу. При желании можно лимитировать количество подключений и в nginx, а журнал ошибок с этими подключениями парсить fail2ban. Однако, как выяснилось, под такие лимиты чаще попадают корпоративные непрозрачные прокси, а вот тот DDoS, кстати, множественными подключениями с одного адреса не страдал. Просто куча IP ломилась кучей последовательных запросов.
TrurlMcByte
CSF вовсе не избыточен, но вот его возможности банить «20 тысяч айпи» сильно преувеличены. Даже на паре тысяч уже заметны тормоза (особенно если у тебя несколько десятков тысяч запросов в минуту).
mickvav
Хм, а я уж думал вы навесили хост с запрещенным контентом, пробросили его через этих проксей и подцепили к нему dyndns, потом нажаловались на свой хост и добились появления в реестре, а потом расширили резолв зоны до всех хостов этих проксеводов…
xerxes
Наконец-то дельный коммент.
Glays
Это подняло настроение.
Прикольно когда парсер ругается на другой парсер и все пытаются бесплатно что-то выцарапать. И всем плевать на GS1.
devpreview
Интересный момент. Всегда считал, что хостингу нужна лицензия…
dron_k
Както раз имел удовольствие столкнуться с элегантнейшим способом отлова ботов:
в код страницы в список скачиваемых данных добавляются скрытые (CSS display:none) элементы (к примеру ссылки)
если зарегистрировано обращение по атрибутам скрытого элемента (к примеру по урл ссылки с идентификатором заведомо скрытого элемента) то 100% это бот
тк реальный юзер со скрытым элементом страницы взаимодействовать не мог.
PS скрытые элементы желательно подмешивать не всё время, а подсовывать их изредка и рандомно, чтобы на этапе написания парсера была малая вероятность что на них обратят внимание.
mayorovp
Так ловятся не любые боты, а только краулеры ("пауки"). При достаточной хитрости вы так успешно отловите и забаните Гугл, Яндекс и Архив интернета, в то же время бот, написанный специально под ваш сайт, этих ссылок просто не заметит, потому что у него нет цели посетить каждую страницу на сайте — у него уже есть список нужных ему URL.
dron_k
Этот список ссылок бот запрашивает с вашего сайта, к примеру список картинок штрихкодов которые надо скачать.
Вот в этот список и подсовывается скрытая ссылка.
mayorovp
Вы переоцениваете их разумность:
У подобного бота есть шаблон URL, он туда подставляет число — и вперед. Никакие ссылки на сайте он не выискивает.
DarkByte
Как оказалось, депо — это как раз таки depo40. Позже ещё несколько раз пытались привязать аккаунт к своему. Данным ящиком не пользовался лет 10, на нём давно уже нет никакой почты, поэтому не смог вспомнить где он использовался для регистрации. Но судя по всему слили базу какого-то сайта, где было указано данное мыло, и пароль на сайте совпал с паролем на почте.
argus5000
У роскомпозора судя по всему занятия поважнее есть (вроде блокировки неугодных).
А раз DDOS — дело грязное, то и бороться с ним можно попробовать грязными же методами.
Если поток трафика идет с одного хостера — поискать среди его узлов какой-нибудь форум, залить че-нить противозаконное туда и пожаловаться в роскомпозор повторно. Пусть блокируют, хлеб отрабатывают.
Хотя метод конечно грязный, не кошерный, но с волками жить — по волчьи выть, увы.
ivan386
Это не так работает. Их толку нет в данном случае подставлять так как запросы от них идут а не к ним. Если он свой сайт под блокировку подставит тогда провайдеры станут глушить запросы к нему. Но это сработает для обычных провайдеров. Запросы от хостингов скорей всего не цензурят.