Несколько дней назад стало известно, что Facebook в Австралии запустил программу по самозащите от порномести (revenge porn). Если девушка (или парень) хочет заранее заблокировать для распространения свои интимные фотографии, то должна пропустить их через серверы Facebook. Процедура якобы конфиденциальная: нужно прислать фотографию самому себе в Messenger и пометить её как «порноместь». Тогда вычисляется хэш файла — и он помещается в базу данных для блокировки. Фотография будет заблокирована для дальнейшего распространения во всех системах Facebook, включая приватные чаты.

Конечно, процедура конфиденциальная, но комментаторы сделали логичный вывод, что Facebook не позволит помещать в базу блокировки любые изображения. Например, кто-нибудь захэширует логотип Facebook — и что тогда, блокировать его во всей сети? То есть в такой системе по-любому должна работать модерация.

Сейчас Facebook официально подтвердил, что модерация есть. И рассказал о работе модераторов.

Новость об отправке своих интимных фотографий в Facebook вызвала некоторый резонанс в социальных сетях. Руководство Facebook официально не анонсировало запуск эксперимента (журналисты австралийских СМИ случайно узнали о ней в ходе расследования другого дела). Но сейчас, когда новость получила такой резонанс, пришлось спешно делать официальное заявление. «Хотя это небольшая пилотная программа, мы хотим чётко прояснить, как она работает», — пишет Facebook.

Facebook напоминает, что база хэшей интимных фотографий для блокировки работает с апреля 2017 года во всём мире. Каждый пользователь может в любой момент сообщить, если его интимные фотографии распространяются в сети без его разрешения. Исследования показали, что 93% пользователей в этом случае испытывают сильный эмоциональный стресс, а 82% сообщают о «значительном ухудшении социальных, профессиональных или других важных аспектов жизни». Facebook добавит хэш в базу и заблокирует файл.

Нынешняя программа в Австралии — небольшой эксперимент, который немножко расширяет действующую систему и позволяет проактивно помечать фотографии. Она запущена совместно с канцелярией Комиссара по электронной безопасности (eSafety Commissioner’s Office) при правительстве Австралии.

Система работает следующим образом:

  • Гражданин заполняет онлайновую форму на официальном веб-сайте Комиссара по электронной безопасности.
  • Чтобы указать конкретные фотографии для блокировки, гражданина просят отправить фотографии самому себе в Messenger.
  • Канцелярия Комиссара по электронной безопасности сообщает в компанию Facebook о необходимости добавить в базу новые интимные фотографии (через форму). При этом сотрудники самой канцелярии не имеют доступа к фотографии.
  • Как только получено уведомление, специально обученный сотрудник группы Community Operations рассматривает и хэширует изображение, в результате чего создаётся машиночитаемый цифровой отпечаток (хэш).
  • В базе Facebook хранится только хэш, но не сами фотографии. Как только кто-нибудь попытается загрузить фотографию на платформу Facebook, она, как и все остальные фотографии, прогоняется через эту базу данных с хэшами. Если найдено совпадение, то фотография блокируется для отправки или публикации.
  • После хэширования фотографии Facebook уведомляет об этом факте человека, который сообщил об интимном фото, по безопасной почте, которую он предоставил в канцелярии Комиссара по электронной безопасности. Его просят удалить фотографию из соответствующего чата Messenger на своём устройстве. Как только фотография удалена из чата, она удаляется с серверов Facebook.

Из этого описания проясняется несколько моментов. Во-первых, теперь официально заявлено, что интимные фотографии действительно рассматривают модераторы из отдела Community Operations. Во-вторых Facebook всё-таки некоторое время хранит интимные фотографии на своих серверах.

После такого объяснения у некоторых пользователей появилось ещё больше страхов: «Кто смотрит на фотографии? Что если они сделают скриншот и сами что-то сделают с фотографиями?» — такие вопросы они задают.

Специалисты по информационной безопасности также обращают внимание на то, что небольшая модификация фотографии изменит её хэш — и интимные фотографии практически в неизменном виде всё-таки смогут обойти блокировку Facebook.

Facebook как может пытается успокоить публику. В интервью Motherboard представитель компании заверил, что модераторы рассматривают размытые (заблюреные) фотографии. Сложно поверить, что Facebook в самом деле внедрил такую систему, скорее это звучит как неуклюжая попытка выйти из ситуации. По крайней мере, на просьбу уточнить, на каком этапе происходит размытие фотографий, представитель Facebook что-то промямлил про хэширование и сослался на статью, в которой ни слова про размытие.

Несмотря на все эти заверения, почему-то вспоминаются слова Марка Цукерберга из переписки в чате в 2004 году, на заре основания Facebook:

Цук: Да, так что если когда-нибудь понадобится инфа о ком-нибудь в Гарварде
Цук: Обращайся
Цук: У меня 4000 адресов электронной почты, фотографии, адреса, номера социального страхования
[Отредактировано имя друга]: Что? А их ты как достал?
Цук: Люди сами вносят.
Цук: Не знаю почему.
Цук: Они «верят мне»
Цук: Тупые придурки

Комментарии (45)


  1. askv
    11.11.2017 12:07

    Достаточно было сделать следующее.
    1. Скачиваешь программу для расчета хешей.
    2. Считаешь хеш своей фотки, загружаешь хеш на фейсбук.
    3. Фейсбук блокирует загрузку фото с этим хешом другими пользователями.
    4. Блокировку можно обойти с помощью модератора.


    1. avost
      11.11.2017 13:40

      2 считаешь хеши произвольных фоток непонравившихся тебе людей.
      3 их блокируют
      4 получаешь нездоровое удовлетворение влажных мечт
      А какие могут получиться эпические битвы между фирмами-конкурентами!.. Хорошая идея, думаю, вам нужно предложить её Цукербергу и ещё немножко приплатить, чтобы просто посмотреть на то, что в результате получится :)


      1. askv
        11.11.2017 14:38

        Если фотка уже размещена на ФБ другим пользователем, то ее нельзя блокировать, только через другие механизмы. А если нет — какова вероятность угадать хеш чужой фотки, которой ещё нет на ФБ? Кроме того, можно блокировать эту возможность пользователям, которые ей злоупотребляют. Все довольно быстро устаканится.


        1. avost
          12.11.2017 23:58

          Если фотка уже размещена на ФБ другим пользователем, то ее нельзя блокировать, только через другие механизмы

          Таким образом, система становится бесполезной.


          . А если нет — какова вероятность угадать хеш чужой фотки, которой ещё нет на ФБ?

          А не надо угадывать. Надо брать из других источников. Я ж не просто так написал про потенциальные войнушки компаний.


          Кроме того, можно блокировать эту возможность пользователям, которые ей злоупотребляют

          То есть опять появляются модераторы. Ну, и чем это лучше обсуждаемого случая?


          Все довольно быстро устаканится

          Наоборот! :) Довольно быстро это перейдёт в войну, мы, сторонние наблюдатели, конечно, получим удовольствие (и ожирение от чрезмерного количества съеденного попкорна), наблюдая за сражениями, а вот фейсбук огребёт десятки тысяч исков от участников перестрелок. Так, что — вряд ли. Уж деньги-то они считать умеют.


          1. sumanai
            13.11.2017 00:27

            Таким образом, система становится бесполезной.

            Конкретно эта система сделана для превентивной блокировки, удаление постфактум, видимо, совершается другими людьми.


          1. askv
            13.11.2017 07:47

            > То есть опять появляются модераторы. Ну, и чем это лучше обсуждаемого случая?

            Тем, что
            1) модераторам не нужно смотреть все фото, а только конфликтные,
            2) модераторам не нужно смотреть порно,
            3) нет необходимости загружать в ФБ компрометирующие себя фото.


      1. Aingis
        11.11.2017 19:05

        Официальное фото продукта при должной сноровке можно хоть с официального сайта взять. (Кажется, чуть-чуть ошибся уровнем, ответ для askv.)


        1. askv
          11.11.2017 21:21

          Когда (и если) они захотят разместить их на ФБ они легко обойдут блокировку с помощью модераторов, а заблокировавший получит минус себе в карму.


      1. we1
        12.11.2017 06:38

        Если фото с таким хэшем уже загружена кем-то другим, то вот тут модератор может посмотреть, убедится, что на ней владелец аккаунта и уже заблокировать.
        Поэтому придется заливать в гуглофото, яндексфотки, imgur, вконтакт, майспей, жж… а если и там заблокируют, то рассылать через сотню мессенджеров.


        1. Gor40
          12.11.2017 11:13

          И модератор будет требовать "одеться" как на фото и принять ту же позу, чисто для проверки ...


      1. Welran
        12.11.2017 23:38

        Человек загружает фото, фейсбук говорит это фото заблокировано и ссылку на контакт с модератором. Модератор смотрит загруженное фото, убеждается что это не порно и стирает этот хеш. Всё просто и без проверки первоначальных фотографий. А проблема типа это мое порно на фейсбуке не актуальна так как там порно вообще запрещено любое.


        1. sumanai
          13.11.2017 00:29

          Ожидание ответа от перегруженных модераторов может дорого стоить.


          1. Welran
            13.11.2017 15:44

            То есть проверить ВСЕ фотографии, в отличии от проверки только НЕКОТОРЫХ по запросу это дольше? А вот насколько дорого обойдется фейсбуку слитые голые фотки это трудно представить.


            1. sumanai
              13.11.2017 20:10

              То есть проверить ВСЕ фотографии, в отличии от проверки только НЕКОТОРЫХ по запросу это дольше?

              В случае ддоса этой системы на проверку будут отосланы сотни тысяч фотографий, и любой отдел модерации захлебнётся.


              1. askv
                13.11.2017 21:32

                Разумное ограничение на количество загружаемых хешей + отключение возможности загружать хеши и инвалидация ранее загруженных хешей тем кто злоупотребляет.


                1. sumanai
                  13.11.2017 23:23

                  Будто бы они будут грузить с одного аккаунта/ПК/IP/.


              1. Welran
                14.11.2017 21:48

                Ммм а теперь процесс опиши если не трудно? Во первых DDoS это отказ программно-аппаратного комплекса, а не модераторов. Во вторых для того что бы заставить модераторов проверить очень много фотографий, в моем варианте надо сначала захешировать очень много фотографий, а потом начать их загружать и отправлять на модерацию когда сервис откажет тебе в их публикации. В текущем варианте надо просто отправить фотографию что бы модератор проверил ее, как минимум в два раза сложность повышается. Модераторы смотрят сейчас ВСЕ фотографии, а в предложенном мной варианте только те которые попали под блокировку и запрошены на удаление из блокировки.


                1. sumanai
                  15.11.2017 16:14

                  Во первых DDoS это отказ программно-аппаратного комплекса, а не модераторов.

                  Ну, DDoS буквально это отказ в обслуживании, и тут даже толпа людей с 5000 купюрами в маршрутке будет DDoSом.
                  Модераторы смотрят сейчас ВСЕ фотографии

                  А пруф этого можно? Считаю это в принципе невозможным, а при исключении этого факта из ваших рассуждений остальные легко опровергаются.


                  1. Welran
                    15.11.2017 20:10

                    А статью вы читали вообще? Ну и вы правда думаете что у них работы невпроворот и модераторы завалены фотками голых людей желающих внести их в список?


    1. Leonid62
      13.11.2017 16:23

      Достаточно сделать следующее:
      1. Не загружать свои ню-фото в Интернет.
      Для тех, кто так не делает, само понятие «хеш» означает в лучшем случае лёгкий наркотик.


  1. Konachan700
    11.11.2017 12:10
    -1

    Мммм… Мир сходит с ума.
    Разве бытовое голое фото, залитое в соцсеть, не «изготовление и распространение порнографии» в большинстве стран? Когда фотографируют моделей, это другое, там искусство и всё такое. Бытовуха — именно порно. Что-то странно всё это.
    Сфоткалась голой — скинь товарищу майору, он ждет!


    1. jnaga
      11.11.2017 19:24
      +1

      Однако в большинстве развитых стран (отмеченных зелёным) порнография легальна.

      image


    1. we1
      12.11.2017 08:21

      В «большинстве стран» порнография не запрещена. И, еще хуже, в большем «большинстве стран», даже там, где ее производство запрещено, голая фотка не является порнографией. Вообще это называется как-то типа «вмешательство в личную жизнь». Хотя и не так сильно наказывается.
      PS Мне вот в странах с запретом производства порнографии жить не нравится. Наверное еще хуже там где она запрещена (мы сейчас в таком полуофициальном переходе, видимо в сторону уголовного кодекса).


  1. hdfan2
    11.11.2017 14:25

    А что будет, если негритянка отправит туда «Чёрный квадрат» Малевича? Заблокирую или нет?


  1. mphys
    11.11.2017 20:59

    Если чат конфедициальный, как внутри него можно отследить что там посылается?


    1. ktzv
      11.11.2017 23:28

      Конфиденциальный. Чат. На фейсбуке.


      1. zarolet56
        12.11.2017 12:17

        Конечно, Facebook или Google не технологические компании, а обычные рекламные шаражки, вроде тех, что распространяют бесплатные рекламные газеты.


  1. gro
    11.11.2017 21:09

    Видел шутку про это на pikabu.
    Так себе шутка, подумал.
    А это не шутка.


  1. densss2
    11.11.2017 22:54

    Они модераторов, хоть, снабжают салфетками? А то им иногда могут попадаться довольно горячие хеши.


  1. densss2
    11.11.2017 22:58

    Меня вот что заинтересовало: если уменьшить ширину и/или высоту фотографии всего на один пиксель, то хеши гарантированно не совпадут. В таком случае, должна ещё быть система поиска по похожим изображениям. В любом случае, имхо, найти способы обхода блокировок можно массу.


    1. Alexsey
      11.11.2017 23:16

      В такой системе никто не будет использовать хэш файла, будут делать перцептивный хэш или что-то подобное.


  1. zarolet56
    11.11.2017 23:28

    Напомните, для чего вообще в рекламных сетях (Facebook, vk, Google products, Twitter, Yandex, Mail.ru etc.) регистрироваться? Там кроме продажи всяких глупых товаров и идей ничего нет, это если мы ведем активную жизнь в рекламных сетях, каждый человек, кого читает больше тысячи человек что-то рекламирует или попрошайничает, или и то, и другое. А если их использовать для общения с друзьями и родственниками — так есть куда более простые и удобные способы вроде звонка или письма. Похоже, просто этим рекламщикам из Facebook хочется «улучшить» целевую рекламу увеличения члена или груди, пластических операций, удалений шрамов, в общем всего того, о чем человек может задуматься если в рекламе укажут именно на его изъян, о котором он в принципе знал, но забыл или не предавал большого внимания, а покажи человеку 10 раз рекламу и он крепко об этом изъяне задумается, через 20 показов у него на этой почве случиться психоз, через 30 он обратиться за покупкой рекламируемого товара или услуги.


    1. noanswer
      11.11.2017 23:52

      К сожалению есть ряд инвалидов тех с кем можно связаться только через соц сети, и эти люди почему-то оказываются чем-то ценны, или любимы.


      сперва бесило, потом понял что против ветра не выгребешь
      сейчас в соц сети транслирую анонсы из своего standalone блога… за что добренькая мордокнига иногда меня банит.


    1. hyperwolf
      12.11.2017 11:30

      А для чего вы тут зарегистрировались? Тут тоже реклама, корпоративные блоги и прочие кровавые маркетологи.


      1. zarolet56
        12.11.2017 11:55

        У меня uBlock и во-вторых тут не требуется ни подтверждения по номеру телефона, не требуется ID для установки личности, ни набора друзей тут нет. У меня как-то на Facebook попросили мое ID для идентификации, когда я в ответ спросил ID Цукерберга мне отказали. Я не люблю тоталитарные системы, следящие за пользователем, не люблю рекламу, не люблю паспорта и другие удостоверения личности. Веду кое-какую деятельность и знаю, что 95% трудозатрат в бизнесе нужны для составления отчетности государству, что бы ему было удобнее отнимать у меня деньги, что бы ему было удобно винтить людей надо, например, гостиницам отправлять ментухаям данные и т.д. Пользуюсь этим не по любви к бюрократии, а потому что навязано, искренне не понимаю зачем нужны паспорта и визы, ведь если отменить границы, не нужно будет тратить деньги на пограничников, посольства и прочую ерунду. Еще раз повторю, это навязанное и это следует всякими способами саботировать.


        1. hyperwolf
          12.11.2017 13:50

          uBlock не спасет от рекламных статей в корпоративных блогах. Да и почту Вашу сервису Вы засветили. А еще провайдер сколько о Вас знает — ужас. Отключайте интернет.


          1. sumanai
            12.11.2017 14:55

            Да и почту Вашу сервису Вы засветили.

            Замечу, что способов анонимизировать почту вагон и маленькая тележка, в отличии от номера телефона.


            1. JFirefly
              13.11.2017 10:22

              Замечу, что способов «арендовать» номер телефона — вагон и ещё один состав вогонов


              1. sumanai
                13.11.2017 20:14

                Про состав вогонов я бы с удовольствием почитал, так как сам знаю немного сервисов для этого, большинство из которых платные, а бесплатные просто напросто везде заблокированы. Тогда как анонимную почту можно получить даже на мейлру.


  1. zarolet56
    12.11.2017 12:02

    Государства — это большие тоталитарные секты, социальные сети это тоталитарные секты поменьше, идеологии — болезнь головного мозга.


    1. ingumsky
      13.11.2017 20:39

      Уже становится неочевидно, кто именно меньше – государства или социальные сети.


  1. tommyangelo27
    13.11.2017 01:31

    А что с видео-порно-местью?


  1. Dioxin
    13.11.2017 08:44

    "@Цук: Тупые придурки"
    Извините, ну а что они хотели?
    Сами выложили в инет свои фотки. Не хотите распространять — держите их дома.


  1. Pulso
    13.11.2017 15:19

    данный метод решения не айтишный, а по сути организационный — просто ответственность перекладывается на сотрудника ФБ.
    Единственный ИТ-вариант — это делать биометрический «хэш» лица владельца профиля и блокировать любые фото на которых проходит его лицо без его согласия. А-ля система копирайтинга на Ютубе или Face Id от Apple. Конечно проблемы будут со смазанными лицами, но такие фотки и сложно притянуть к реальной личности.


  1. cubiculus
    15.11.2017 09:18

    — Маша?
    — Папа?
    когда твой батя работает модератором в Facebook