На написание данной статьи меня сподвиг тот факт, что старший ребенок стал по ночам вместо того чтобы укладываться спать, смотреть на своем смартфоне всякие ролики на youtube, до поздней ночи, а так же замена домашнего роутера с TP-Link TL-WR1043ND на MikroTik RB951G-2HnD.
Поизучав интернеты, наткнулся на презентацию от 2017 года на канале микротика в ютубе. Там описывалось, как не надо делать и как делать правильно. Возможно, для многих продвинутых пользователей MikroTik и RouterOS это не будет открытием, но надеюсь что поможет начинающим пользователям, как я, не заблудиться в дебрях вариантов, предлагаемых в интернете.
Начнем с часто предлагаемого варианта в интернете (так не надо делать!!!):
? /ip firewall layer7-protocol
add name=youtube regexp="^.+(youtube).*\$"
add name=facebook regexp="^.+(facebook).*\$"
? /ip firewall filter
add action=drop chain=forward layer7-protocol=facebook
add action=drop chain=forward layer7-protocol=youtubeУ данного решения следующие минусы: высокая нагрузка на cpu, увеличенная latency, потеря пакетов, youtube и facebook не блокируются.
Почему так происходит? Каждое соединение проверяется снова и снова, Layer7 проверяется не в том месте, что приводит к проверке всего трафика.
Правильное решение
Создаем правило с регулярным выражением для Layer7:
? /ip firewall layer7-protocol
add name=youtube regexp="^.+(youtube).*\$"
Я блочил только ютуб, если нужен фейсбук или что-то иное, создает отдельные правила
add name=facebook regexp="^.+(facebook).*\$"Можно создавать правила и для других сервисов стримминга видео, вот один из вариантов:
regexp=”^.*youtube.com|youtu.be|netflix.com|vimeo.com|screen.yahoo.com|dailyMotion.com|hulu.com|twitch.tv|liveleak.com|vine.co|break.com|tv.com|metacafe.com|viewster.com).*\$”Далее создаем правила для маркировки соединений и пакетов:
? /ip firewall mangle
add action=mark-connection chain=prerouting protocol=udp
dst-port=53 connection-mark=no-mark layer7-protocol=youtube new-connection-mark=youtube_conn passthrough=yes
add action=mark-packet chain=prerouting connection-mark=youtube_conn new-packet-mark=youtube_packet
и правила для фильтра файрвола:
? /ip firewall filter
add action=drop chain=forward packet-mark=youtube_packet
add action=drop chain=input packet-mark=youtube_packet
У меня в домашней сети по dhcp раздаются статические ip-адреса, поэтому фильтр я применял к ip-адресу смартфона ребенка, можно создать группу адресов и применить к ней. Идем в меню IP>Firewall>AddressList нажимаем кнопку Add, вводим название группы и не забываем заполнить список адресов для блокировки.
Далее идем меню IP>Firewall>Mangle выбираем наши mark_connection и mark_packet и в поле Src. Address вбиваем блокируемый ip либо группу.
Все, девайс остался без ютуба, жестко, но в воспитательных целях нужно.
Так же можно применять эти правила по расписанию.
Буду рад комментариями и поправкам, если вы заметите какие то неточности, т.к. это моя первая статья на Хабре. По материалам канала MikroTik на Youtube. Внимание, эта статья не о том как ограничить доступ ребенку в интернет, ограничение доступа в ютуб — это просто пример. Статья об одном из способов ограничения доступа к нежелательным ресурсам.
Updt1, от avelor, блок по mac:
? /ip firewall filter
add chain=input src-mac-address=aa:bb:cc:dd:ee:ff action=drop
add chain=forward src-mac-address=aa:bb:cc:dd:ee:ff action=dropможно заблочить и в dhcp — сделать lease и жмякнуть block access
Комментарии (64)
Hile
04.01.2018 19:22А почему бы не сделать ( как кстате в штатной прошивке 1043 ) просто блокировку по времени для устройства? ну те ютуб/фб отдельно блочить малоэффективно,
omgiafs
04.01.2018 19:37+1Скоро сын научится пользоваться Тором, для смартфона это OrBot+OrFox. Банально нагуглит через «обход блокировок».
И всё. Дальше вы уже не заблокируете. Более того, там тако-о-ое доступно, чего детям знать не следует. Медленно, но верно ролики будут грузиться, несмотря на все ваши прежние усилия. Вы ведь используете какой-нибудь «Семейный DNS»? OrFox всё через OrBot резолвит, так что…
В вашем случае, чтобы не вызывать желание обойти точечную блокировку, лучше одним правилом по крону (расписанию) рубить выход в инет по MAC-адресу смартфона, и по крону же включать.
Всё тупо не работает — нет желания обойти точечную блокировку.
И MAC-адреса своего ПК и смарта тоже в скрипт включите — качество сна сразу улучшится, проверено :)
Mantikor_WRX_STi Автор
04.01.2018 20:57ну можно и WAN провод достать — это 100% гарантия ))), а у меня иммунитет, так что mac и ip не обязательно блочить, ну и надеюсь в 10 лет сын Tor не начнет пользовать, хотя если и так, это будет полезным опытом для него и повышением экспиренса. Кстати, можно и не блочить Tor, достаточно ограничить скорость по ip и ему просто станет не интересно )
alexyr
04.01.2018 21:24Это всё хорошо работает, пока на смартфоне ребёнка нет мобильного интернета! Видимо глушилку надо заранее приобрести…
Mantikor_WRX_STi Автор
04.01.2018 21:59Нету, не надо он ему. Вообще статья, как пример, можно забрать смарт у малого, ну или дать кнопочный ) но надо же учиться на реальных задачах, вот одна из них.
dmitryredkin
04.01.2018 23:53А можно пояснить (может быть даже в статье) что конкретно происходит при такой маркировке по регэкспу в микротике? Что именно матчится? Dns запрос? Поле host? Url? Весь текстовый трафик? Что насчёт https?
AkaZLOY
05.01.2018 01:15layer7-protocol is a method of searching for patterns in ICMP/TCP/UDP streams.
https://wiki.mikrotik.com/wiki/Manual:IP/Firewall/L7
mihmig
05.01.2018 00:32>>Далее создаем правила для маркировки соединений и пакетов:
А можно по-подродробнее — что именно делают эти команды:
add action=mark-connection chain=prerouting protocol=udp
dst-port=53 connection-mark=no-mark layer7-protocol=youtube new-connection-mark=youtube_conn passthrough=yes
add action=mark-packet chain=prerouting connection-mark=youtube_conn new-packet-mark=youtube_packet
avelor
05.01.2018 01:27- маркируем соединения к днс-серверу, где пакеты содержат в себе данные, удовлетворяющие regexp (ютуб)
- маркируем пакеты в этих соединениях
ну и потом в фильтре блочим.
естественно подобный фильтр обходится довольно легко.mihmig
05.01.2018 11:56Маркируются соединения(не отдельные пакеты) к DNS-серверу по UDP? Получается первый пакет с запросом резолва youtube вызовет блокировку следующих DNS запросов до истечения таймаута (у микртика вроде для UDP 30 секунд)?
avelor
05.01.2018 12:14В этом и как бы фишка, чтоб проверять не каждый пакет (а такое будет, если делать фильтр с l7)
avelor
05.01.2018 01:35не тестили — насколько упала производительность после использования l7? я в свое время блочил всякие торренты, в т.ч и с помощью l7 — больше 30 мегабит роутер не выгребал (отож 951). но исходящий канал был меньше, поэтому решение устроило.
а для дома — следующий шаг будет прозрачный прокси, жалко микротик в него не умеет (точнее в https)… можно правда через metarouter запустить виртуалку с openwrt, но производительность будет страдать.
zedalert
05.01.2018 10:55Это вам тогда нужно полноценный прокси с wpad (для прозрачности) и доверенным сертификатом на всех устройствах (для https). Но нужна очень мощная железка.
avelor
05.01.2018 12:16Можно и без wpad, и без доверенного сертификата (по заголовкам сертификатов блочить, они не шифруются).
К слову, чисто в теории (не тестил) если микротом также маркировать коннекты не только к dns — будет также и https блочится, как раз из-за заголовка серта.
ekerlostw
05.01.2018 03:00Неуниверсально. Я бы ребёнку ограничил количество соединений и настроил шейпинг с бурстом — чтобы по сайтам норм ходить, а видосы на 64кбит пусть качаются…
А что касается именно запрета ресурсов, то эффективнее просто узнать все их айпишники дропать по адрес-листам… или даже проще — форсим для дитя микрот как днс-сервер и тупо на нём всё заворачиваем на локал-хост, а сами гуглоднсом пользуемся…avelor
05.01.2018 03:24к слову, микрот умеет в адрес-листы и по dns-именам, в ряде случаев удобнее.
ekerlostw
05.01.2018 04:00Но есть с этим одна проблемка — он резолвит только 1й адрес. Зачастую и это не страшно, но гарантировать актуальность запрещаемого адреса мы по таким адрес-листам не можем.
avelor
05.01.2018 12:17Если именно через адреслисты — он динамически генерит адреслист со всеми адресами, которые резолвятся по заданному имени.
avelor
05.01.2018 13:00пруф
ekerlostw
05.01.2018 17:03Ваша правда, это оно командой по одному адресу резолвит — недавно хотел сделать скрипт для настройки радиусов по резолву и помню очень мне это помешало…
avelor
05.01.2018 17:11по команде — да. но есть хитрость:)
следите за руками.
:local Servers {"mail.ru"};
:foreach Server in=$Servers do={
:resolve $Server;
:foreach aRecord in=[/ip dns cache all find where (name=$Server && type="A")] do={
/ip firewall address-list add list=mail address=[/ip dns cache all get $aRecord data] comment=$Server;
}
}
stigory
05.01.2018 05:19Полностью поддерживаю. Вообще использовать L7 на SOHO-маршрутизаторе, на мой взгляд, путь боли и страдания. Кажущаяся простота решения в итоге выливается в кучу граблей.
Маршрутизатор должен маршрутизировать, его удел — второй и третий уровни OSI. Правильно настроенный шейпинг, полиси и расписание дадут требуемый результат при меньшей нагрузке на железо. И при этом с административной стороны родительский запрет будет выглядеть мягче и не настолько категоричным.
Когда я еще не умел толком шейпить на микротике, то решал в семье вопрос следующим образом: заворачивал по расписанию http-запросы на web-proxy микротика, где он отдавал наскоро слепленную html-страничку с напоминанием, что спать — необходимость, а интернет — всего лишь удовольствие. Это гораздо мягче чем жесткий отказ в обслуживании.
Потом у детей настала пора торрентов и пришлось научиться резать и приоритезировать трафик.ekerlostw
05.01.2018 06:07А как торренты побороли? Из моей практики полностью их зарезать достаточно сложно… В итоге вообще отказался от идеи их шейпить — интернет, пока, относительно дёшев в крупных городах, а торренты на деле мешают только игрушкам чувствительным к задержкам, всё остальное относительно незаметно деградирует на широком канале даже при полной его утилизации.
Тем более нормальный кос с манглом и приоретизацией тот же 951 грузит очень заметно и у меня при такой настройке выходило выжать только 60 из 100мбит.stigory
05.01.2018 08:07Я поступил проще. Так как я убежден что урегулирование вопросов совместного проживания должно в первую очередь решаться социальными способами, а техническими в последнюю, то внутри семьи просто договорились на треть пропускной способности.
QoS никак специально не настраивался, только Burst на 100% на 15 секунд. Этого хватало для комфортного серфинга. Зато в пределах своей полосы, если уж вы ее забили торрентами полностью, то не плачьтесь, что интернет тормозит. Я решил, что такой эффект несет в себе полезный опыт самостоятельного распределения ресурсов.
На всякие подростковые хитрости в духе — поставлю у себя на компьютере скачиваться на все деньги, а серфить пойду на компе у мамы, было решено закрывать глаза. Дети есть дети.
avelor
05.01.2018 13:08торренты могут сделать огорчение организации… как было у одного клиента — «гостевой» wi-fi, без проксей, без доступа в локалку, просто зарезан приоритет, чтоб не мешал никто работе основных сервисов.
от провайдера приходит письмо, с просьбой прекратить баловаться. в письме заодно письмо уже провайдеру от universal pictures, что мол с вашего ip обнаружено нелегальное скачивание и раздача нашего фильма, перестаньте или примем меры.
пришлось резать :) полностью зарезать да, довольно сложно. советов из интернета не хватило, ЕМНИП я скатился до того, что помимо прочего заблочил мелкие UDP-пакеты (разрешив нужные вроде DNS).ekerlostw
05.01.2018 17:08Какая-то совсем исключительная ситуация — впервые слышу чтобы правообладатели к провайдеру обращались. Более того — подозреваю он вам по договору предъявить ничего не может… Более вероятно что к вам напрямую постучатся, особенно если у вас айпи белый, а юрикам почти всегда белый все дают.
avelor
05.01.2018 17:14если хуизом посмотреть айпишник — там не светится юрлицо компании, а вот адрес абузы провайдера — есть. туда и пишут.
предъявить… как минимум проблем устроить могут, а кому они нужны, эти проблемы:)ekerlostw
05.01.2018 17:17Но провайдер-то здесь совсем сбоку будет если он зареган как провайдер — лесом может всех правооладателей посылать, а если из суда будет запрос, то просто инфу о клиенте даст.
avelor
05.01.2018 17:19согласен. поэтому что одни, что другие — просили прекратить бардак, а не то…
попробую найти оригинал письма
avelor
05.01.2018 17:30нашел. если интересно — вот оно. кстати соврал, не universal. а paramaunt
страшное письмо
From: Business_Abuse_Dept [mailto:abuse-b2b@beeline.ru]
Sent: Wednesday, June 11, 2014 10:37 AM
To: ****
Cc: *****
Subject: >>: **** Notice of Unauthorized Use of Paramount Pictures Corporation Property
Здравствуйте Уважаемый клиент
Нами была получена жалоба на нелегальную активность с одного из адресов Вашей
компании
Просим вас провести расследование на своей сети и устранить указанную проблему в ближайшее время.
С Уважением,
*** ****
Направление администрирования интернет-сервисов
Дирекция по обслуживанию клиентов
abuse@b2b.beeline.ru
— При ответах, пожалуйста, полностью цитируйте переписку
— When replying, please include this message completely in your reply
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1
Notice ID: ****
Notice Date: 04 Jun 2014 03:33:57 GMT
EDN Sovintel
Dear Sir or Madam:
Irdeto USA, Inc. (hereinafter referred to as «Irdeto») swears under penalty of perjury that Paramount Pictures Corporation («Paramount») has authorized Irdeto to act as its non-exclusive agent for copyright infringement notification. Irdeto's search of the protocol listed below has detected infringements of Paramount's copyright interests on your IP addresses as detailed in the below report.
Irdeto has reasonable good faith belief that use of the material in the manner complained of in the below report is not authorized by Paramount, its agents, or the law. The information provided herein is accurate to the best of our knowledge. Therefore, this letter is an official notification to effect removal of the detected infringement listed in the below report. The Berne Convention for the Protection of Literary and Artistic Works, the Universal Copyright Convention, as well as bilateral treaties with other countries allow for protection of client's copyrighted work even beyond U.S. borders. The below documentation specifies the exact location of the infringement.
We hereby request that you immediately remove or block access to the infringing material, as specified in the copyright laws, and insure the user refrains from using or sharing with others unauthorized Paramount's materials in the future.
Further, we believe that the entire Internet community benefits when these matters are resolved cooperatively. We urge you to take immediate action to stop this infringing activity and inform us of the results of your actions. We appreciate your efforts toward this common goal.
Please send us a prompt response indicating the actions you have taken to resolve this matter, making sure to reference the Notice ID number above in your response.
If you do not wish to reply by email, please use our Web Interface by clicking on the following link: webreply.copyright-compliance.com*****
Nothing in this letter shall serve as a waiver of any rights or remedies of Paramount with respect to the alleged infringement, all of which are expressly reserved. Should you need to contact me, I may be reached at the below address.
Regards,
Andrew Beck
Irdeto USA, Inc.
3255-3 Scott Blvd. Suite 101 Santa Clara, CA 95054
Phone: 408-492-8500 fax: 408-727-6743
paramount@copyright-compliance.com
*pgp public key is available on the key server at pgp.mit.edu
Note: The information transmitted in this Notice is intended only for the person or entity to which it is addressed and may contain confidential and/or privileged material. Any review, reproduction, retransmission, dissemination or other use of, or taking of any action in reliance upon, this information by persons or entities other than the intended recipient is prohibited. If you received this in error, please contact the sender and delete the material from all computers.
This infringement notice contains an XML tag that can be used to automate the processing of this data. If you would like more information on how to use this tag please contact Irdeto.
Evidentiary Information:
Notice ID: *****
Initial Infringement Timestamp: 20 May 2014 13:15:11 GMT
Recent Infringement Timestamp: 03 Jun 2014 15:01:46 GMT
Infringers IP Address: *****
Protocol: BitTorrent
Infringed Work: Jackass Presents: Bad Grandpa
Infringing File Name: Несносный дед / Jackass Presents: Bad Grandpa (2013) HDRip | P | Unrated Cut
Infringing File Size: 1563787264
Bay ID: 3ca13034b781860f41276528c3f513792a76c3d5|1563787264
Port ID: 24541
Infringer's User Name:
— — ---Start ACNS XML
<?xml version=«1.0» encoding=«UTF-8»?>
<Infringement xmlns=«www.acns.net/ACNS» xmlns:xsi=«www.w3.org/2001/XMLSchema-instance» xsi:schemaLocation=«www.acns.net/ACNS www.acns.net/v1.2/ACNS2v1_2.xsd»>
*****
Open
Irdeto USA, Inc
Andrew Beck
3255-3 Scott Blvd. Suite 101, Santa Clara, California 95054 United States of America
408-492-8500,408-727-6743
paramount@copyright-compliance.com
<Service_Provider>
EDN Sovintel
abuse@gldn.net
</Service_Provider>
<TimeStamp>2014-06-03T15:01:46.000Z</TimeStamp> <IP_Address>******</IP_Address> <Port>24541</Port> <Type>BitTorrent</Type> <Number_Files>1</Number_Files> <Deja_Vu>No</Deja_Vu>
2014-06-03T15:01:46.000Z
Jackass Presents: Bad Grandpa
???µN?????N???N‹?? ???µ?? / Jackass Presents: Bad Grandpa (2013) HDRip | P | Unrated Cut
1563787264
incoming
Kolbasyatin
05.01.2018 06:21Я уж не специалист в теме сетей, но хотел бы уточнить по поводу варианта «который делать нельзя». Ну т.е. если мы будем маркировать только SYN пакеты и их дропать, разве это не решит проблему? И производительность не пострадает ну и handshake не состоится с «вражеским» ресурсом.
Mantikor_WRX_STi Автор
05.01.2018 06:25Я тоже не специалист, поэтому доверился специалистам из микротика, вот ссылка на оригинал, в pdf формате, если любите смотреть, а не читать, скину ссылку на ролик (на английском)
gvitalik
05.01.2018 08:06Подскажите, какая цель преследовалась, когда вы помечали пакеты, а потом помеченные пакеты дропали? Если я правильно понимаю, то можно вместо пометки сразу дропать.
И другой момент состоит в том, что желательно блокировать еще TCP/53.Mantikor_WRX_STi Автор
05.01.2018 08:07смотрите мой ответ чуть выше, специалисты из микротика говорят, что нужно делать именно так
Astyx
05.01.2018 08:18Первое add action помечает соединение (в данном случае DNS запрос на youtube) меткой youtube_conn. Второе add action помечает все пакеты в рамках соединения youtube_conn как youtube_packet.
alexraven
05.01.2018 09:04Я сделал проще. В DD-WRT создал правило, которое блокирует весь доступ в интернет с 12 ночи до 10 утра устройствам с MAC-адресами из списка. В списке — компьютер и телефон ребенка.
Tihon_V
05.01.2018 13:28+1Может было бы проще раздавать всем клиентам в сети настройки DHCP с Google Public DNS, а тем кому больше всех надо — направлять встроенный в Mikrotik с заранее добавленной записью о «youtube.com 127.0.0.1»?
ИМХО: Из пушки по воробьям…
zurapa
05.01.2018 16:30Я, вот, не пойму, что мешало узнать ip адреса youtube.com, и заблокировать их для определённого ip в своей сети. Зачем вот эти:
/ip firewall layer7-protocol
?
add name=youtube regexp="^.+(youtube).*\$"
Человек выдал свою профессию. Вот по этому программистам всегда нужны будут системные администраторы.
Losted
05.01.2018 18:28А как вы будете гарантировать, что они завтра не поменяются? В облачных окружениях и CDNах это сильно актуально
Mantikor_WRX_STi Автор
05.01.2018 22:51А тот человек (Janis Megis), что лекции микротика читает, тоже выдал свою профессию? Так вы ему напишите, что ему тоже нужен администратор (системый), предложите свое изящное решение, и желательно чтоб микротиковцы на своих лекциях говорили, что надо делать именно так, будет супер, и будет что показать. А то пока, как я вижу нечего… ) Но я судить не берусь, я же выдал профессию.
pewpew
Теперь ждём статью от сына — «Домашний РКН. Обход цензуры на MikroTik RB951G-2HnD незаметно от папы».
Кстати роутер замечательный. Пользуюсь уже пару лет.
Meklon
Только уже слабоват для VPN с тяжёлыми шифрованием. Проседает. А так, да. У тестя стоит до сих пор.
dmitry_ch
Так никто не обещал сумасшедшей производительности шифрования. Вы сколько от него ожидали, и какой VPN используете?
При желании выдает довольно неплохие результаты, а уж если нужно быстрее, и в IPSec — так за 3 тысячи рублей можно взять RB750Gr3, заточить настройки под него, чтобы криптование было на аппаратном ускорителе — и радоваться!
А уж тесть, я уверен, только рад. Железка хорошая, тем более Микротик с версии 6.30 вроде как сделал WMM powersaving, так что еще и батарею поменьше высаживает.
Meklon
Точных цифр не помню, но на l2tp/IPsec с AES начинал проседать в районе 18 мегабит. Видео с сервера в моей квартире уже не получалось тащить. Поэтому компромиссный вариант. L2TP + mppe128. Тогда хватает на 40-50 мегабит.
Meklon
Блин. Обидно. Я был уверен, что на моем не самом дешёвом 2011UiAS-2HnD есть аппаратное шифрование. Он же красненький!) Просто тот же AES миллион лет как в каждом утюге есть, как мне казалось.
Может вообще шифрование отключить? Тесть и папа на одном провайдере со мной. Иногда хочется тем же Kodi тащить видео без тормозов друг у друга.
dmitry_ch
2011 серия вообще неудачная в смысле производительности. Да и вообще все того периода девайсы, с процом на ~600 Мгц и одним ядром. На нем L7 проверки делать, и то…
А уж 2011 с двумя чипами на 5 портов каждый вообще своеобразное решение.
Meklon
С нынешними ценами еще не скоро обновлю, видимо. В производительность не упираюсь дома. А VPN не столь критичен в плане реалтайма с видео.