Привет, Хабр! Сегодня мы поговорим о фильтрации интернет-контента. Три года назад вступил в силу федеральный закон 139-ФЗ, дополнивший уже принятый 436-ФЗ «О защите детей от информации, причиняющей вред их здоровью и развитию». В соответствии с российским законодательством, доступ в интернет в школах возможен лишь «при условии применения административных и организационных мер, технических, программно-аппаратных средств защиты детей от информации, причиняющей вред их здоровью и (или) развитию». Другими словами, закон требует обязательной фильтрации интернет-контента. Добро пожаловать под кат.



Возможно, кто-то считает, что это исключительно российская новация. Вовсе нет. Практика фильтрации контента давно есть во многих странах, делается это по-разному. Например, во Франции министерство народного образования запустило автоматизированную и централизованную фильтрацию контента в школах на основании двух «чёрных списков»: в первом списке – порнографические ресурсы, во втором – расистские и антисемитские сайты. Он составлен в соответствии с общеевропейским проектом по развитию безопасного интернета (Safer Internet Action Plan).

В США «Акт о защите детей от интернета» был принят еще в 2001 году. Для фильтрации используются коммерческие фильтрующие программные пакеты, а в некоторых штатах — блокирование IP-адресов на уровне провайдера.

В Канаде в рамках проекта «Чистая связь» с 2006 года провайдеры, добровольно участвующие в программе, блокирует переход по ссылкам из «черного списка», который формируется аналитиками Канадского центра по защите детей (Canadian Centre for Child Protection). Провайдеры сами решают, как блокировать контент — по IP-адресу или доменному имени, а Sasktel BellCanada и Telus принципиально блокируют только ссылки, чтобы избежать случайного блокирования ресурсов, не содержащих запрещенного контента.

Большинство поисковых систем в Германии —  Google, Lycos Europe, MSN Deutschland, AOL Deutschland, Yahoo!, T-Online и T-info — присоединились к соглашению «Добровольный самоконтроль для мультимедийных сервис-провайдеров». Они фильтруют интернет-сайты на основе списка, который определяется  Федеральным департаментом по медиаресурсам, вредным для молодежи.

Самые жесткие меры в Европе установлены в Великобритании. Запрещенный интернет-контент блокируется на уровне операторов связи на основе стандарта Home Office Taskforce on Child Protection on the Internet. Кроме того, британское законодательство обязывает провайдеров отчитываться о том, принимают ли они меры по пресечению доступа к запрещенным интернет-сайтам. Интернет-провайдеры даже передают информацию в «Фонд интернет-наблюдения» (Internet Watch Foundation, IWF) и полицию о подозрительных пользователях и сетевых конференциях. Правда, это касается только распространения детской порнографии, которую в Англии фильтруют на уровне провайдеров для всех. Или, по крайней мере, пытаются.

Контентная и url-фильтрация необходима не только в библиотеках, школах и университетах, где делать это нужно обязательно.

Уже давно большинство компаний старается закрыть доступ к развлекательным ресурсам и социальным сетям для своих сотрудников. Нет нужды объяснять — почему. С другой стороны, делать это необходимо с умом. Ведь доступ к Facebook и LinkedIn для HR, PR и сотрудникам отдела продаж нужен для повседневной работы. Да, полностью закрыть доступ к ресурсам, которые в компании считаются нежелательными для посещения, нельзя. Можно обойти эти запреты, выходя в интернет со смартфона или планшета. Но хотя бы не через корпоративную сеть.

Для простоты рассмотрим настройки фильтрации контента на примере обычной школы. Настройка модуля NetPolice и правил пользователей по типу, группе и категории для любой другой организации происходит аналогично.

Что нам нужно сделать? Запретить для всех доступ к сайтам из списка Росреестра, настроить школьникам доступ только по разрешенным категориям, а учителям — доступ по всем категориям, кроме запрещенных.

1. Начинаем с создания групп пользователей. В нашем случае это группы «Учителя» и «Школьники». Разумеется, в компании необходимо будет создать больше групп: «Руководители», «Сотрудники», «PR», «HR» и так далее. Принцип создания групп пользователей тот же, что и в нашем примере.

Для создания группы пользователей переходим в раздел консоли управления «Пользователи и группы». В блоке «Пользователи и группы» во вкладке «Действия» нажимаем на ссылку «Добавить группу»:


2. Сначала создаём группу «Учителя»:


3. Теперь создаём правила для пользователей при помощи модуля NetPolice. В консоли управления переходим в раздел «Модули расширения – NetPolice – Правила» и добавляем его:


4. Называем правило «Запрет по категориям (учителя)» и выбираем категории запрета:



5. создаём пользовательское правило и выбираем тип правила «Запретить доступ»:



6. В настройке правила выбираем группу «Учителя». На этом настройка для этой группы завершена:



7. Теперь переходим к созданию правил для группы «Школьники». Сначала (пусть это не покажется странным) нам необходимо запретить доступ ко всем ресурсам:




7. Добавляем правило, разрешающее пользователям работу с DNS (53 порт), чтобы выход в интернет был возможен. Для этого создаём правило «DNS-клиент», выбираем протоколы TCP/UDP и изменяем диапазон портов назначения на 53 порт:



8. Теперь добавляем пользовательское правило, разрешающее ученикам просмотр сайтов:


9. В отличие от группы «Учителя», которой разрешено посещать любые ресурсы, кроме запрещенных, пользователи из группы «Школьники» могут попасть только на определенные интернет-ресурсы:



10. Создаём новую категорию и подтверждаем автоматическое создание нового правила на разрешение:



11. И, наконец, настраиваем правило для работы с группой «Школьники».


12. Возвращаемся к настройкам групп пользователей, ведь нам еще необходимо, чтобы весь трафик проходил через прокси-сервер и блокировался при запросах мимо прокси.


13. Первыми в списке должны идти правила на разрешения. Для группы «Учителя» правило «Запрет по категориям (учителя)» добавляется автоматически:



Нам осталось только внести пользователей в определенные группы и проверить правильность настроек, перейдя по ссылке www.smart-soft.ru/ru/solutions/check-federal-law/.

Этим возможности Traffic Inspector не ограничиваются. Кроме контентной фильтрации мы можем, создав так называемый «черный» список, запретить доступ к определенным сайтам, которые могут не быть включены в уже запрещенные категории. Например, таким образом в компании можно запретить для определенных категорий сотрудников доступ к социальным сетям и развлекательным сервисам.

Подробнее о настройках «черного» списка здесь.

Если наши читатели знают другие интересные решения этой проблемы, как всегда, приглашаем к обсуждению.

Комментарии (29)


  1. Fen1kz
    14.12.2015 17:49
    +2

    Интересная категория «Падонский жаргон (Олбанскей язык)». Начиная от названия (отличного от, например, названия в вики и ещё с уточнением) и заканчивая принципом фильтрации: Блокируются ресурсы с грамматическими ошибками?


    1. FoxF
      14.12.2015 18:35

      fixed: «олбанский йезыг»


    1. Smart_Soft
      15.12.2015 08:47

      Блокируются ресурсы, которые NetPolice определяет, как написанные этим жаргоном.


  1. abby
    14.12.2015 18:11
    +3

    Круто, а что с HTTPS?


    1. Smart_Soft
      15.12.2015 08:48
      -1

      Запрашиваемый Вами функционал будет реализован в нашем аппаратном решении, которое сейчас находится на финальной стадии разработки.


    1. ckr
      16.12.2015 17:55

      Сделают как в Казахстане. Белый список SSL-регистраторов со своими закладками в алгоритме кодирования.


  1. hungry_ewok
    14.12.2015 18:31
    +2

    Ибд, как оно есть.


  1. ivanych
    14.12.2015 19:19
    +15

    Вот же гадость, а…

    Сначала государство запрещает доступ к информации. Потом на этот запрет, как мухи на гавно, слетаются конторы, готовые пилить софт, который эти запреты реализует. Потом учителям приходится всё это разгребать, как-будто у них более полезных дел нет…

    Тьфу.


    1. PavelMSTU
      15.12.2015 09:05

      У меня теща учительница в «прогрессивной» Московской школе… Со всеми околоболонскими и иновационными причудами…

      Вот хотите верьте, хотите нет, она 35% времени (больше трети!) вот примерно этой фигней занимается…


  1. ArjLover
    14.12.2015 19:42
    +1

    Борьба с ветряными мельницами.


  1. Shaz
    14.12.2015 19:46
    +1

    За три года что-то изменилось в NetPolice? Что на счет интеграции с AD? Централизованного управления всей этой фигней?


    1. Smart_Soft
      15.12.2015 08:50
      -2

      Доброе утро, конечно изменилось! Интеграции с AD нет, NetPolice работает по тем же принципам, но добавились новые опции (новые категории ресурсов, возможность экспорта/импорта настроек).


  1. ESP
    14.12.2015 20:16

    Что на счет ютуба? (на котором много как полезного контента так и непотребного). Что с Яндекс.Видео? Через который легко можно найти как массу полезного так и горяченького.


    1. Smart_Soft
      15.12.2015 08:53
      -3

      Здравствуйте. Потенциально опасные ресурсы надо блокировать целиком, если встает необходимость соблюдать законодательство. Разделять «плохие» и «хорошие» ролики только по названию чревато, потому что назвать видео можно как угодно. Например, ребенок, забивающий в поиск слово «кошечка» и представить себе не может, что его ожидает.


      1. ersh
        15.12.2015 09:35
        +1

        Да-да, именно, целиком. Интернет — очень опасный ресурс, давайте его заблокируем! (с)
        Извините, навеяло.


  1. achekalin
    15.12.2015 10:17
    +1

    Заголовок не соответствует тексту. Не «Контентная фильтрация: зачем и как это делать», а всего лишь «Контентная фильтрация: зачем ее делают по закону, и всего лишь один пример, как это сделать при помощи одной программы, без объяснения выбора и без сравнения ее с другими».

    Никак не поднят вопрос цены, во сколько школе обойдется такой софт. Никак не обсуждается ни версия ПО, ни серверная мощность, ни возможные (ожидаемые) границы применимости (а они более чем интересны: тот же https, тот же почтовый трафик — они-то не входят в фильтруемое, правильно? Что будет, если сайт висит на порту 8080? Кто, наконец, составляет списки, и могу ли я верить, что страница какого-то сайта на narod.ru в списке есть?)

    В школе проще SkyDNS подключить, и мозг не взрывать. Тем более что нет принципиальной разницы, что можно смотреть учителям, а что — ученикам. Более того, сейчас мобильный интернет настолько распространен, что либо глушить GSM/3G/LTE вообще, либо можно за детей особо «не переживать», они найдут дорогу к информации сами (у многих старшеклассников инет на телефоне есть).


    1. Smart_Soft
      15.12.2015 11:28

      Добрый день. В тексте мы показали, как можно правильно настроить фильтрацию интернет-контента на конкретном примере (при помощи Traffic Inspector, для наглядности была выбрана школа). В заголовке не заявлено о том, что это будет обзор существующих программ или подробный анализ Traffic Inspector с его полным списком функциональных возможностей и описанием политики ценообразования.

      Если Вы хотите узнать информацию об организации интернет-доступа в школах, то Вам будет интересна статья — Интернет в российских школах: работа над ошибками.

      В фильтруемое не входят почтовый трафик и https. На каком порту висит сайт — неважно, главное, чтобы был http трафик. Списки составляет Netpolice — их разработка.

      SkyDNS не дает возможности гибкой настройки фильтрации, да и фильтрует достаточно ненадежно. А в школах мероприятия по защите детей от нежелательной информации — обязательны, за этим довольно строго следят различные проверки.


      1. teecat
        15.12.2015 13:27

        Именно поэтому и лучше использовать услугу по фильтрации на провайдере. Выполнить закон всяко невозможно, но использованием услуги снимается ответственность


        1. Smart_Soft
          15.12.2015 14:46

          Ответственность не снимается, если использовать услугу по фильтрации на провайдере. Проверки ведутся в конечных точках доступа и ответственность несет лицо, предоставляющее доступ.


          1. teecat
            15.12.2015 15:47

            Именно так. Проверки ведутся на уровне тех же школ и детских садов.

            Если не сложно — где определяется кто несет ответственность? В 436-ФЗ (насколько я помню) такого положения нет — там сказано, что «в соответствии с законодательством Российской Федерации»


            1. Smart_Soft
              15.12.2015 16:42

              ст 6.17 КоАП РФ


              1. teecat
                15.12.2015 16:57

                Пункт 2:

                Неприменение лицом, организующим доступ к распространяемой посредством информационно-телекоммуникационных сетей (в том числе сети «Интернет») информации (за исключением операторов связи, оказывающих эти услуги связи на основании договоров об оказании услуг связи, заключенных в письменной форме) в местах, доступных для детей, административных и организационных мер, технических, программно-аппаратных средств защиты детей от информации, причиняющей вред их здоровью и (или) развитию…


                Правильно ли я понимаю, что если школа заключает договор с провайдером в письменной форме (а где вы видели договор в устной форме?), то лицом организующим доступ становится провайдер и таким образом школа/детсад уходят от ответственности?


                1. Smart_Soft
                  16.12.2015 08:30

                  Смотря от какой ответственности. Провайдер отвечает только за отсутствие фильтрации по черным спискам Роскомнадзора.

                  Что касается остального контента — провайдер предоставляет доступ к информации юридическому лицу — школе. А юридическое лицо — школа — предоставляет доступ к информации через свою сеть в местах, доступных для детей.


      1. achekalin
        15.12.2015 17:06
        +1

        > показали, как можно правильно настроить фильтрацию интернет-контента на конкретном примере

        Как раз заголовок был дан обобщенным, «Контентная фильтрация: зачем и как это делать». И то, что показано только на примере одной программы, наводит на мысль, что часть с выбором программы пропущена.

        Это как поваренная книга «Как приготовить вкусную еду», а внутри только как сделать супчик из упаковки Ролтона.

        > В фильтруемое не входят почтовый трафик и https

        Спасибо, но — «нет». Сегодня даже Яндекс с Гуглом не видны вашей системе (а ведь это не только поисковики, но и веб-диски, но и видеосервисы, но и почта, но и веб-архив, где можно найти контент многих других сайтов), не говоря уже о множестве менее крупных сайтов с HTTPS.

        Каковы финансовые гарантии, что ваше решение полностью фильтрует все неположенное по закону? Готовы ли вы (хорошо, вендор) взять на себя оплату штрафов и волокиту с бумагами, если фильтр не сработает? Готов ли кто-то оплатить выплату по судебным искам, скажем, родителей, которые заметят, что их чадо увидело в нете что-то непотребное?

        Полагаю, что вопросов многовато.

        P.S. Ценник здесь не озвучен, но не особо радует, как для школы-то. Отдельно не забываем цену железки + цену лицензий на ОС Windows.


        1. Smart_Soft
          16.12.2015 09:20

          Потенциально опасные ресурсы надо блокировать целиком, если встает необходимость соблюдать законодательство. Разделять «плохие» и «хорошие» ролики только по названию чревато, потому что назвать видео можно как угодно. Например, ребенок, забивающий в поиск слово «кошечка» и представить себе не может, что его ожидает.

          По законодательству ответственность несет юридическое лицо, предоставляющее доступ к к информации через свою сеть, то есть школа. Ни один программный продукт не сможет на все 100% обезопасить детей от контента, который сможет причинить вред их развитию и здоровью. Но, мы уверены в том, что с помощью Traffic Inspector школа максимально минимизирует данные риски.

          Цена для образовательных учреждений предполагает стоимость с учетом 70% на ПО и 23% на железку. Более того, в цену железки уже включена лицензия Windows и нашего ПО.


          1. achekalin
            16.12.2015 13:13

            Я осторожно замечу, что мы здесь собрались вроде бы люди взрослые. Закон — законом, вред здоровью — вредом. Если так, глушите wifi от соседних домов, LTE/3G/и пр. передачу данных через сотовую сеть, а уже потом лечите школьный инет.

            А что именно вами предлагаемое (так и не написали цену, увы) решение лучше всех это делает — так я сразу вам написал, что нет ни сравнений, ни даже перечисления конкурентов, с кем вы сравниваете предлагаемый вариант.

            Но что касается проверок и защиты: да, юр. лицо отвечает. Но юр. лицо не имеет в штате спеца по безопасности, правильно? И не способно проконтролировать, насколько хорошо работает любое решение, так? В таком случае самое грамотное — отключить инет нафиг, и дать доступ только по белому списку доменов (это можно и через ДНС, и через прокси сделать), от греха. Получаем, может, и не такое изящное, но решение.

            Не говоря, что у Каспера есть решение по управлению доступом на сайты, с централизованной консолью. В физическую/радио сеть школы мы все равно не пускаем левые хосты, так? А на хосты школы вроде как антивирус положен, так раскидали компы по группам, и добавили права ходить в инет по сайтам, и очень даже нарядно получается.

            А на деле, уверен, и сеть довольно дырява (просто некому с палкой стоять и бить по головам нарушителей политики сети), и денег не на все хватает. Ваше решение купят, но от неграмотности в вопросе ИТ, а не от понимания уникальности решения (которое так и не обсуждено).


  1. d7s2di
    15.12.2015 10:56

    Какая мерзость. Сколько же любителей строить свой маленький ГУЛАГ развелось.

    Я, как бы, понимаю, чего пытается добиться государство, внедряя все эти запреты под эгидой «для вашего собственного блага» и «дети — это святое». Но вот никак не могу понять тех, кто это лепит у себя добровольно.

    Защитить детей? Так, наверное, лучше рассказать «что такое хорошо, а что такое плохо», а не пытаться отгородить от мира?

    Вот уж, действительно, «запретить и непущать».


    1. Smart_Soft
      16.12.2015 11:20

      Рассказать «что такое хорошо, а что такое плохо» недостаточно. Ребенок может наткнуться совершенно случайно на нежелательную информацию в Сети. Это выбор родителей, если дело касается работы с Интернетом вне школы. Запрещать надо с умом и только те ресурсы, которые негативно скажутся на детях.


      1. d7s2di
        16.12.2015 12:15

        >на нежелательную информацию в Сети

        Да-да-да. Узнают, например, что детей приносит не аист и есть такая штука как наркотики и насилие? Пусть дитятя про это узнает не из интернета, а во дворе от более продвинутых товарищей, согласен.

        Хотя погодьте, я придумал: лучше детей вовсе никуда не отпускать, пущай дома сидят. И, всенепременно, следить за каждым шагом, провожать в школу, проверять вещи, книжки давать только одобренные министерством правды культуры. Вот тогда точно ничто не нанесет «вреда развитию» и бла-бла-бла. Вырастут достойными членами общества.



        Я вот гляжу на действия роскомпозора, выливающиеся в цирк с блокировками статей на википедии и гитхаба из-за дебильного текстовичка, туда же «антипиратские» законы, туда же законы об «экстремизме»… Только мне одному кристально ясно, за что все это потомство унтера Пришибеева и Шарикова радеет и трудится?

        Прикатимся, что останется пара десятков ресурсов с «желательной» информацией. Ну еще с рекламой, куда же без нее.

        А электорат радостно подмахивает, клепая вот такие замечательные продукты. Вот уж действительно: «мы рождены, чтоб Кафку сделать былью».

        Серьезно, вы не понимаете на чью мельницу льете воду или просто деньги не пахнут?