На днях нам пришло письмо от Роскомнадзора. Там было сказано, что и до нашей компании у них дошли руки.
«В целях оценки возможной потребности технических средств контроля прошу в срок до 20.03.2015 г. сообщить число узлов фильтрации, ограничивающих доступ из ваших сетей доступа физическим и юридическим лицам к сайтам в сети «Интернет», содержащим информацию, распространение которой в Российской Федерации запрещено».
Выдержка из официального письма от Роскомнадзора.
Итак, суть послания сводится к тому, чтобы дать возможность РКН посчитать все наши точки фильтрации трафика и удостовериться, что они подконтрольны «великому рубильнику» — закону 139ФЗ. Если кто не в курсе, о чем речь, — под спойлером краткая справка на тему блокировок.
Спойлер
Если кратко, то закон подразумевает следующее:
Если вы хотите поглотить больше букв, то вот текст закона в первозданном виде: graph.document.kremlin.ru/page.aspx?1;1621853
- Любой провайдер должен мониторить источник «черных списков» URL и блокировать трафик по всем перечисленным там адресам. Как именно — говорится очень обтекаемо, так что кто куда.
- Проверять «обновления» следует не реже 3 раз в сутки. Хоть руками, хоть автоматически — главное, с заданной частотой.
- Чтобы следить за исполнением закона, на оборудование провайдера устанавливаются некие контролирующие устройства. Мы свое еще не получили, так что тут пока неизвестно.
- За несоблюдение требований закона — штраф.
Если вы хотите поглотить больше букв, то вот текст закона в первозданном виде: graph.document.kremlin.ru/page.aspx?1;1621853
С технической стороны закон требует от оператора связи (в какой-то степени «ИТ-ГРАД», будучи облачным провайдером, тоже является оператором связи) реализовать своими силами блокировку всевозможного контента, запрещенного к распространению на территории РФ. Конечно, простого «да, насяльника, все сделаем!» Роскомнадзору недостаточно — они еще устанавливают отдельные устройства для проверки исполнительности оператора.
Пару лет назад, после принятия закона 139 ФЗ подобное требование было зубной болью для любого интернет-провайдера, ведь у многих даже DPI нормального не было, куда можно было бы просто добавить функциональность блокировок. Тогда мы как раз занимались проработкой услуги DDoS-защиты и фильтрации DPI для пользователей нашего облака, так что с основными игроками на рынке средств защиты и блокировки были знакомы. Не буду утомлять вас долгой и мучительной историей выбора конкретного решения, а просто приведу сравнительную табличку возможностей популярных на рынке систем фильтрации. Цена тоже была не последним фактором, но здесь мы этот параметр опустим.
| Возможность загрузки реестра с сайта РКН по ЭЦП | + | + | + | + |
| Возможность дополнения списков региональными блокировками | + | + | - | + |
| Схема реализации решения на оборудовании провайдера | + | + | + | + |
| Доп. услуги по фильтрации отдельных клиентов и интеграция с биллингами, белые списки | + | + | - | + |
| Схема мониторинга | - | + | - | + |
Но блокировка по закону нас интересовала все же во вторую очередь. Потому мы искали не просто «большие ножницы», а некое многофункциональное устройство. Его хрупким кремниевым плечам предстояло нести нелегкое бремя DdoS-фильтрации и управления скоростью канала. Путем сравнения спецификаций и тестирования в полях мы выбрали продукт «СКАТ» компании VAS Experts. К слову, железка (а точнее, программно-аппаратный комплекс) оказалась довольно интересной:
- фильтрация по реестру запрещенных сайтов;
- сбор и анализ статистики по протоколам и направлениям;
- разметка приоритета трафика в зависимости от протокола;
- распределение канала доступа между абонентами с уведомлениями;
- защита от DOS- и DDOS-атак;
- Lawful interception — перехват трафика;
- запись http-запросов;
- предфильтр СОРМ.
Что и как блокировать
Технические аспекты блокировок уже обсуждались на Хабре не раз, и все они крутятся вокруг DPI- и IP-блокировок. Надеюсь, schors не против, если я скопирую его картинку:
Блокировать сайты по спискам государства можно разными способами (вот тут была полезная статья с обзором возможных путей блокировки сайтов), и тут выбранная железка порадовала поддержкой таких вариантов:
- фильтрация для http-прокси, включая Opera Mini;
- возможность учитывать или не учитывать номер порта (т. е. блокировать www.example.com и www.example.com:8080 вместе или раздельно);
- нет зависимости от смены сайтом IP-адреса;
- поддерживается инкапсуляция VLAN, QinQ, MPLS;
- можно использовать асимметричные маршруты трафика, включая обработку только исходящего;
- работает с зеркалированным трафиком.
Конечно, самым простым вариантом было бы пойти по пути блокировки всего трафика для неугодного IP. То есть берем URL из реестра, преобразуем имя в IP и перенаправляем на страницу с «письмом счастья».
Но мы решили быть гуманнее, к тому же железка с DPI уже пришла на склад. Таким образом, на обеих точках обмена стоит сервер-фильтр с DPI, который автоматически подгружает свежие списки от РКН и просматривает все проходящие пакеты на предмет запретного адреса. Если попадание — переадресуем клиента на страничку с объяснением, что и почему.
Тут, кстати, есть нюанс с HTTPS. Шифрованный пакет нельзя так просто «вскрыть» и посмотреть содержимое, поэтому такой трафик приходится блокировать по связке IP-порт, вне зависимости от реального URL. Грубоватый метод, но лучшего решения пока нет. Благо в реестре все же фигурируют в основном HTTP-адреса.
А как же полезное?
Вы же помните, что целью была не просто блокировка сайтов, но и полезная для клиентов функция DDoS-защиты.
Для DdoS-атаки злоумышленник готовит большую сеть удаленно управляемых компьютеров (BOTNET) и ему не нужно скрывать IP-адрес каждого из них. Можно просто имитировать действия легитимных пользователей сайта, но благодаря большому количеству участников даже такие действия вызовут большую нагрузку на сайт и приведут к отказу в обслуживании.
Обычно выбираются самые ресурсоемкие запросы чтобы минимизировать число участвующих в атаке компьютеров — ведь их IP адреса будут после действа засвечены.
Для защиты от атак DDoS обычно применяются различные поведенческие стратегии, которые определяют отклонения в нормальном поведении пользователя. В установленном DPI используется вместо этого простой и эффективный, как штык, подход: использование странички с капчей, на которой
Принимая все это во внимание, мы подключили «СКАТ» в рекомендуемом режиме bypass, как на картинке.
В качестве сайта проверки на «человечность» подозрительных пользователей использовался отдельный веб-кластер в нашем собственном облаке.
Защита работает следующим образом:
- При превышении порогового значения (комфортного для сайта количества запросов в секунду) активируется защита.
- К работе с сайтом допускаются только пользователи из белого списка. Все остальные перенаправляются на страничку проверки на «человечность». Эта страница расположена на отдельном сервере в Интернете, способном выдержать нагрузку BOTNET любого размера.
- Прошедшие тест пользователи добавляются в белый список, и дальше их ничто не ограничивает.
- Не прошедшие тест «боты» (или бедняги) не продвинутся дальше детектирующей странички без какой-либо нагрузки на атакуемый сайт.
Что в итоге
В результате получился редкий пример поимки обоих зайцев разом, благо опция защиты от DDoS пользуется у наших заказчиков ожидаемой популярностью.
Как говорится в одной мудрой цитате, «если не можешь победить врага — сделай его своим другом». Если мы, как оператор, не можем избежать установки «великого рубильника», то хотелось бы сделать это с минимальными издержками и головной болью. К тому же российские производители ПО предлагают вполне работоспособные решения с DPI за разумные деньги. Импортозамещение в действии — даже выбор есть.
Комментарии (32)
spanasik
03.04.2015 18:31+8Где находится список IP РКН и др. «очень полезных» организаций? Хочется в iptables добавить сразу всех, во имя добра.
Temych
03.04.2015 19:29Возможность дополнения списков региональными блокировками
Поясните, пожалуйста, что под этим понимается?
Региональных блокировок не должно быть в принципе — всё должно соответствовать общефедеральным законам по блокировкам информации.
И если на уровне региона это происходит — это незаконно и операторы связи имеют право не обращать внимания на такие требования по блокировке за исключением решения судов (хотя и эти решения также обрабатывает РКН и вносит в соответсвующий общефедеральный реестр).
AEP
03.04.2015 21:21Это и есть решения местечковых судов, которые не попали ни в федеральный список экстремистских материалов, ни в список Роскомнадзора.
Temych
04.04.2015 11:49Это было актуально, когда РКН не заводил эти решения в реестр (хотя обязан был по закону), но уже как года полтора это делает.
Так что никаких региональных блокировок в рамках закона быть в принципе не может.
titulusdesiderio
06.04.2015 12:20сегодня
Temych
06.04.2015 19:56Что именно сегодня? )
titulusdesiderio
08.04.2015 17:01Так что никаких региональных блокировок в рамках закона быть в принципе не может сегодня
Для российского законодательства это очень актуально.
insekt
03.04.2015 19:49Чтобы следить за исполнением закона, на оборудование провайдера устанавливаются некие контролирующие устройства. Мы свое еще не получили, так что тут пока неизвестно.
Кто-нибуть уже получал такие контролирующие устройства?
veam
03.04.2015 20:10+1Пара вопросов:
1. Ютуб фильтруете или нет? Тормозит?
2.и тут выбранная железка порадовала поддержкой таких вариантов:
фильтрация для http-прокси, включая Opera Mini;
Закон не требует фильтровать трафик, идущий через прокси, почему же это вас порадовало?
it_man Автор
04.04.2015 12:40+1По 1 пункту — да фильтрует, не тормозит. Есть два варианта:
— для http протокола можно установить переадресацию на страницу оператора для заблокированного URL или заблокировать
— для https трафика можно только заблокировать (по Common Name сертификатов)
Christoph
Хорошая статья, но это всё причина того, что общество (включая IT-сообщество) ничего не делает для консолидации и объединения против глупых законов и людей, которые их принимают.
Всем читателям было сразу понятно для чего принимался закон о блокировках (и о блогерах). Была задача остановить народные протесты 2011-2012. Сейчас же блокируют любой сайт по первому чиху, чтобы на следующих выборах снова победил Путин (у которого рейтинг поддержки накручен).
Из последней слитой переписки Прокопенко (замглавы внутренней политики АП) можно много интересного почитать об этом и о его взаимодействии со РКН. Вот тут ещё интересная статья.
Генпрокуратура сейчас тоже хочет себе рубильник и ещё важная новость: сейчас хотят заблокировать весь Интернет внешний нам под предлогом переноса DNS-серверов.
Проще говоря: недалёкие чиновники вроде Ксензова и Прокопенко получают из наших налогов зарплату… чтобы лишать нас независимых СМИ и объективной оценки качества работы этих же чиновников.
Не забудьте ещё и платных комментаторов, которым тоже платят из наших налогов для накрутки истерии и продвижения сомнительного качества роликов на Youtube (гляньте сейчас какнал Популярное в России).
Если IT-сообщество сегодня в России не консолидируется, то завтра мы будем иметь Интернет как в Китае, а чиновники будут продолжать воровать.
Давайте вместе решим какое будущее будет у нас: github.com/russian-plan/first
edinorog
Всем читателям было сразу понятно для чего принимался закон о блокировках (и о блогерах).
Конечно понятно. Сейчас на «развитее демократии» в России(из-за границы) выделяется ТАААКОЕ количество БАБЛА… что нянчиться с каждым проектом просто свинство. Проще потом разобраться кто попал под горячую руку! Не нравится наша демократия… можете в Конго ехать бизнес открывать или Кению.
Кстати… ваш пост пост из разряда сетевого маркетинга. Прям слоган один в один.
Да хоть заминусуйтесь ;)
AleksDesker
Вы не фига не понимаете в демократиях! Не надо в Конго и в Кению, там не лучше чем в России. В Нигерию и Уганду или Парагвай уже нормуль — условия для бизнеса там ощутимо лучше, но лучше конечно не умничать, а валить в какие-нить Штаты, Канаду, Австралию или Европу, как все.
i360u
Можно на Хабре сделать нечто типа «булшит-бинго-бана»: набрал в комментариях «выигрышный» набор слов и словосочетаний, типа «демократиянинужна», «ненравитсявалите», «обамакрымнаш» и т. д. — попал в бан на веки вечные.
Ivan_83
Это не демократичное предложение, как же плюрализм мнений!?
Фактически вы предлагаете банить всех у кого мнение отличается от вашего.
jaguard
Вместо хабрасуицида лучше бы рассказали подробно, сколько получаете за пост и как происходит процесс. Интересно из первых рук послушать.
SBKarr
Я щас таки получу гору минусов (политота же), но таки задам пару вопросов.
От чего вы собрались спасать? От блокировок сайтов? От ограничения доступа во внешнюю сеть? От коррупции?
Тогда причём здесь Россия? Что такое «Свидетельство канарейки»? «Правдоподобное отрицание»? Эффект «вращающейся двери»? «Патриотический акт»? Запрет на экспорт криптографии? «Prism»?
Сегодня каждая «развитая» и даже «развивающаяся» страна занимается одним и тем же. Китай, Россия, Германия, США, Аргентина, Индия, Бразилия… пока не надоест… во всех этих странах есть аналоги тех самых вещей, из предыдущего абзаца.
Что же нам делать? Консолидироваться? Бороться? Сидеть в тюрьме? В посольстве Эквадора? В чужой стране?
ПИСАТЬ КОД. Вот, что надо делать. Создавать вещи, как TOR, I2P, gpg в конце концов. Создавать инфраструктуру, до которой неповоротливым правительственным машинам придётся идти годами. А за это время мы напишем новый код.
Нам будут запрещать, ограничивать, брать подписки, запугивать. Но нужно запомнить вот что: пока мы пишем код, мы нужны. Без кода не будут работать государственные машины. Мы должны исполнять их требования днём, и писать код для обхода вечером. Не делать больше, чем требуют, не выступать на улицах, не представлять явной угрозы. не подставлять других. Пока мы нужны, правительства будут закрывать глаза на небольшие нарушения. А о больших будут только догадываться, их мы скроем в даркнете.
И если какому-то правительству удалось заблокировать нам доступ к чему-то, украсть нашу личную переписку, найти что-то, противоречащее «правдоподобному отрицанию» — мы плохо сделали свою работу. И уже поздно выходить на улицы и консолидироваться.
Stiver
Выдумывать не нужно. Совершенно точно не во всех этих. И уж тем более не каждая и даже не большинство.
AntiHelper
Stiver, Вы думаете только у нас есть СОРМ 1-3 с неконтролируемым доступом??
Сама возможность съёма информации о звонках и записи разговора встроена в связистские стандарты и протоколы, которые являются ТЗ для вендоров.
В любой стране, деятельность в области связи — регулируемая(чаще всего в виде лицензий). Это значит, что оператор должен выполнять требования законов, приказов и рекомендации регуляторов, иначе — он будет отвечать перед законом.
Stiver, назовите страну из этого списка, в которой нет аналогов СОРМ а я попробую развеять эти мифы. Договорились?
Stiver
Ээ… вы уверены, что отвечаете мне? Предыдущий оратор утверждает, что каждая страна имеет аналоги
>>Что такое «Свидетельство канарейки»? «Правдоподобное отрицание»? Эффект «вращающейся двери»? «Патриотический акт»? Запрет на экспорт криптографии? «Prism»?<<
Я не согласен, контрпример — Германия, где ни одного из перечисленных пунктов не существует или нет необходимости прибегать к ним. При чем тут прослушивание звонков по санкции суда?
AntiHelper
Именно каждая страна имеет аналоги подобных систем.
В Германии, так-же как и у нас и имеется возможность использовать неконтролируемый доступ к информации, проходящей через узлы связи(узел связи может быть как телефонным, так и передачи данных).
Я не поддерживаю такую систему в любой стране, и считаю что хуже наших законов в отношении интернета — только Китайские. У нас реализация «мониторинга и контроля» интернета заходит слишком далеко. Как обычно хромает исполнение.
Stiver
Боюсь, вы по-прежнему говорите о чем-то другом. Я отвечал на конкретное высказывание: нет, в Германии не существует ни запрета на экспорт криптографии, ни аналога Patriot Act; «свидетельство канарейки» и «правдоподобное отрицание» не нужны и т.д. Как и в большинстве других стран.
AntiHelper
Вы правы, я Вас недопонял.
Я думал вы в общем о возможности неконтролируемого слежения за гражданами в интернете.
То, о чем Вы говорите возможно только в правовом государстве, коими большинство перечисленных стран не являются из-за коррупции и верховенства власти над законом.
Так что Вы правы.
iStorm
Не соглашусь с Вами. Хотя идея мне близка и понятна.
Но дело в том что в том варианте, о котором вы говорите, праила игры остаются за одним и тем же игроком. И на долгой перспективе, писальщики кода все же проигрывают. Да машина государства неповоротлива, но она может бить по площадям. И чем больше времени она существует, тем большие площади имеет возможность охватить.
Завтра вообще по телеку скажут что интернет — мировое зло (уже говорили кстати) и что его надо выключить и всем смотреть старый добрый ламповый телевизор. А тех, кто код пишет вообще объявить вне закона. Они же могут написать чтонить, что украдет ваши деньги, растлит детей и т.д. в меру вкуса и агресси создателя тренда. При должной агрессивности пропаганды, общество за пол года поведется на такое.
И вы, хоть упишитесь, проиграете это противостояние еще даже не начав писать.
SBKarr
В долгосрочной перспективе прогресс всегда выигрывал. Нет уже того племени, которое не пользовалось бы каменными топорами, потому, что лоа не велели. Нет церкви и партии, принуждающей к определённому укладу (ну, по большей степени нет). Нет рабовладельческого строя, его заменило рабство кредитное. Не сжигают больше учёных. Даже идеальная машина для подавления граждан в итоге проиграла, пусть и большой ценой.
Мы не живём в антиутопии, это реальный мир. Если кажется, что за пропагандой осталось слишком мало здравого смысла — подумайте ещё раз. Мои наблюдения говорят, что соотношение не изменилось. Инструменты усовершенствовались. Новые инструменты для реализации требуют код. Много кода.
Будь это 18 век — я бы советовал становиться механиком. 19 — электриком, 20 — инженером-электронщиком, 21 — программистом (в широком смысле). Может не совсем точно в датах, но, думаю, суть ясна.
Я не очень хочу спорить, скорее объяснить своё мнение. Несколько лет назад я был ярым сторонником борьбы с государственной системой этой страны, и государственными системами в общем. Но в один момент понял, что если убрать их, убрать пропаганду, сменить текущую систему — ничего хорошего не случится. Люди, что были вокруг меня, не имели плана действий, не имели нужных навыков, и точно не смогли бы «сделать всё лучше», получи они власть. Сейчас система власти сбалансирована. Там есть и сторонники интернета, есть и противники. Потому, совсем глупых решений, вроде интернета по пропускам или отключения от всемирной сети мы не увидим. Пока сами не расшатаем лодку.
А потому, пока другие будут ходить по площадям и раскачивать, я буду писать код. Разный код. Для правительства, для людей, для машин. Я буду нужен системе, до такой степени, что система простит мне анархические взгляды и «дурное» влияние. В итоге, это правительство уйдёт в отставку, придёт новое. Для кого оно будет работать: для себя, для нефтегазовых гигантов, для новообразованной цифровой мафии, или всё же для людей — мне будет не важно. Пока я нужен, я буду иметь право на свой анархизм, и на свою свободу слова (тут нужно добавить, что не на свободу оскорбления словом). И пока я работаю, для государства я буду делать то, что требуется. А лучшее оставлю для людей.
Ваше право — отрицать или поддерживать, бороться с системой снаружи, медленно менять изнутри, или плюнуть на это дело и оставить как есть. Мне обидно только то, что я сейчас нажму кнопку, и потом моё мнение получит циферку. А вновь пришедший посмотрит на неё и заранее решит для себя, хорошее оно или плохое. По сути, мы здесь стали сами себе государство и сами себе пропаганда. И играем по тем же правилам, которые хотим изменить. Мне, как цифровому анархисту, это противно.
de1vin
«Нет истины истиннее чем другая. Но есть истина полезнее, чем другая» — Протагор (кажется).
С недавних пор я заинтересовался системным мышлением и его практическим применением в жизни повседневной. Хобби у меня такое. И так, порой, интересно наблюдать, как одни люди с пеной у рта навязывают
свою картусвое мнение другим. Мол, моя мысль — более правильная. И не с какой-то конкретной целью это делают, а просто, что бы навязать.При чем люди, которые этим занимаются профессионально, знают — что в лоб навязывать свою точку зрения нельзя. Как бы это странно не звучало, но что бы убедить другого человека изменить точку зрения, надо вначале принять его точку зрения за правильную и в ней уже засеивать сомнения.
Порой у меня складывается впечатление, что такие люди, которым нравиться действовать в лоб — делают это именно для того, что бы получить удовольствие от самого конфликта.