Журналисты Verge нашли объяснение нынешнего спорного решения Apple начать сканирование iPhone на предмет противоправного контента с участием детей. В 2020 году глава подразделения компании по борьбе с мошенничеством Эрик Фридман заявил, что Apple «является величайшей платформой для распространения детского порно».
Однако это заявление вызвало у журналистов вопрос: откуда Apple смогла узнать об этом, если ранее не сканировала учетные записи iCloud, а iMessage имеет сквозное шифрование?
Тема iMessage привлекла внимание Verge благодаря письмам, сообщениям и другим материалам Apple в иске Epic Games. Фридман в этих материалах предполагает, что Facebook лучше справляется с обнаружением запрещенного контента, чем Apple: «В центре внимания Facebook и т. д. Находится доверие и безопасность… Наши приоритеты противоположны. Вот почему мы являемся лучшей платформой для распространения детского порно».
Другой исполнительный директор спрашивает его, правда ли это так: «Действительно? Я имею ввиду, много ли этого в нашей экосистеме? Я думал, что в других системах обмена файлами было еще больше возможностей для злоумышленников». Фридман отвечает одним словом: «Да».
Сам документ имеет пометку «Высокая конфиденциальность — только для адвоката».
Apple заявила, что некоторое время изучает проблему запрещенного контента и пытается найти способ его обнаружения, защищающий конфиденциальность. Вполне возможно, что именно этот разговор между Фридманом и другим топ-менеджером привел к тому, что компания расставила приоритеты в этих усилиях.
В начале августа СМИ сообщили, что Apple начнет сканировать iPhone на предмет фото жестокого обращения с детьми. Пользователи с возмущением восприняли это нововведение и призвали отменить его. Внутри компании реакция тоже была неоднозначной. Однако Apple считает, что новая система станет частью «важной миссии» по обеспечению безопасности детей. Компания поясняла, что она не будет иметь доступа к контенту пользователей, а сможет только анализировать хэши фотографий на устройстве и даже сканировать видео. Учетная запись пользователя попадет под подозрение, если на его смартфоне будет обнаружено 30 и более совпадений хэшей изображений жестокого обращения с детьми, включая детскую порнографию, с базой данных ФБР и организации «Национальный центр пропавших без вести и эксплуатируемых детей».
Глава WhatsApp Уилл Кэткарт раскритиковал внедряемую систему. Руководитель мессенджера считает, что Apple поступает неправильно, а ее действия могут нарушить приватность большинства пользователей. А бывший руководитель службы безопасности Facebook Алекс Стамос призвал к более детальному обсуждению сторонников и противников нововведения.
Между тем разработчик Аниш Атали опубликовал на GitHub проект neural-hash-collider, с помощью которого любой пользователь может создавать коллизии для обнаруженной и проанализированной недавно тестовой версии алгоритма сканирования Apple NeuralHash. Обман алгоритма позволяет двум и более разным изображениям иметь одинаковый хеш-код.
Комментарии (55)
nickolas059
20.08.2021 19:04Я имел в виду, что будет некое распознавание фото, а в ответ будут программные средства как этого избежать. По типу блокировок и VPN. Не более того.
Ark1774
21.08.2021 08:40В прошлой подобной публикации уже даже приводили способы как заблокировать акк любого человека. Так что к скоро ещё и педотеррористы появятся.
Aelliari
20.08.2021 20:14+11Именно, в очередной раз прикрываясь "детьми, наркотиками и террористами" бьют по нашей приватности. Да, этот инструмент можно использовать и для тех "благих" задач, только вот его возможности этим не ограничиваются, и нет причин почему они не могут использовать иначе, как и причин доверять им на слово
Oll123
20.08.2021 19:21-8Я правильно понимаю, что в момент синка фоток с клаудом, у каждой новой фотки будет посчитан хеш, который уедет на серваки эпла, что бы сравниться с базой хешей которая вообще у фбр и прочих ?
И из-за этой фигни весь сыр бор?
В плане, ну блин, микрософт получает краш репорты с миллионом деталей о системе, про гугл и гугло фотки, собирающий вообще все даж как-то и упоминать.., про андроид - туда же.. (я сейчас про обычные миллионы пользователей которые дают доступ всему ко всему не глядя, а не про 1% гиков) а тут - хеши?
Я не за, каждая такая добавка уменьшает и ухудшает приватность, но почему конкретно на этот маленький эпизод, прямо скажем достаточно незначительный на фоне общего - вдруг такая агрессивная реакция ? Я вот это не очень понимаю, кто б мне пояснил, чем и как хеши так опасны?
staticmain
20.08.2021 19:37+12чем и как хеши так опасны?
Там не просто хэши, там neuralhash, который считает примерно как «на фотке член» х «на фотке стол» х «на фотке кровать» = ffbb4847688282eeb. Примитивные хэши никогда не сработали бы, потому что фото в базе ФБР нельзя повторить через камеру смартфона.
Так что как только нейронка *подумает*, что там что-то с вашими фото не так — они отправятся киндусамспециалистам, которые будут в ручном режиме просматривать ваши фотографии подтверждая или опровергая заявление нейронной сети. Т.е. сфотографировали вы жену (а она у вас молодая и красивая), фото даже в облако не улетело (ключевой момент), а эппл уже считает что у вас на фото — детская порнография и отправляет ваши фотки специалисту на посмотреть.
Насколько надежный замок будет на специалисте и хранилище или механизме фоток — второй вопрос.
Будет ли система адаптироваться под политические повестки третьих стран — третий вопрос (детектить плакаты с Винни Пином или Навальным).Oll123
20.08.2021 19:41Это вообще возможно ? Типа какого-то усредненного хеша членов, сисек, и т.д. И суммарный который говорит что - похоже тут что-то не то? Оо
Вы для меня сейчас открыли новое и неизвестное, спасибо
staticmain
20.08.2021 19:44+5Почитайте то, что известно про механизм NeuralHash (там немного известно). Он не использует криптоалгоритмы (типа sha1), потому что изменение одного пикселя позволит лавинообразно сменить хеш. В жизни вы с подобной технологией можете ознакомиться, если будете использовать поиск по картинке гугла, google lens ну и чо там ответочка от Яндекса.
Aelliari
20.08.2021 21:19+2Да, возможно, алгоритмы computer vision и нейросети неплохо научились различать объекты. Плюс у них дополнительный огромный датасет для обучения - фото на устройствах, и качество этих данных значительно лучше чем данных с камер видеонаблюдения (а значит их проще классифицировать).. Но это что касается распознавания объектов.
Что касается базы хэшей с "усредненными членами" - тут поход немного иной, фото проходят предварительную постобработку перед расчётом хэша. Это позволяет срезать значительную часть возможных артефактов при конверсии между форматами и графической обработки исходного изображения. После этого рассчитывается хэш, принципиальная разница с криптографическим у него в том, что при изменении даже одного бита криптографический хэш изменится до неузнаваемости и единственное что можно сказать о файлам по их криптографическим хэшам - что они отличаются. Используемые же в данном случае алгоритмы (есть несколько популярных походов со своими плюсами и минусами, но никто не запретит корпорации заняться разработкой своего. Уж что-что, а ресурсы на это у них есть) позволяют оценивать "расстояние" между хэшами и у двух практически одинаковых изображений будут близкие хэши. Кроме того, можно выделять объекты на изображении и обрабатывать уже их, или тупо разрезать картинку на блоки что позволит оценивать совпадения даже на обрезанных изображениях. Походы можно комбинировать.
У подобного поиска по изображению есть недостаток в виде куда более простых способов создания искусственных коллизий и два абсолютно разных изображения могут получить одинаковый хэш, после наложения на одно из них специально рассчитанной маски на основе второго. При этом первое останется узнаваемым.
oOKIBrTlUTohw4Sc
20.08.2021 21:58+3У подобного поиска по изображению есть недостаток в виде куда более простых способов создания искусственных коллизий и два абсолютно разных изображения могут получить одинаковый хэш, после наложения на одно из них специально рассчитанной маски на основе второго. При этом первое останется узнаваемым.
Ну норм. Раньше был "магический текст" который заставлял айфон отрубиться, а теперь будет "магическая картинка с чайником" которая будет заставлять ФБР конфисковывать у тебя всю технику для поиска детской порнографии.
Вообще не понимаю, они же в последних презентациях постоянно делали акценты на приватность, мол айфон весь об этом. А тут такая новость с этим сканированием. Чувствую себя изнасилованным маркетологами.
AlexWoodblock
20.08.2021 21:28-5>фото даже в облако не улетело
Вообще-то только в облаке и сканируется, не локально. Мне, конечно, тоже не нравится, что происходит, но давайте все же будет оперировать фактами.
Sychuan
21.08.2021 01:09-4Т.е. сфотографировали вы жену (а она у вас молодая и красивая), фото даже в облако не улетело (ключевой момент), а эппл уже считает что у вас на фото — детская порнография
Нет. Фотки сравниваются с конкретными фотками из базы данных ФБР. Т.е. должна быть уже эта фотография в базе данных
Там не просто хэши, там neuralhash, который считает примерно как «на фотке член» х «на фотке стол» х «на фотке кровать» = ffbb4847688282eeb
Он так не считает
cyberenigma
21.08.2021 14:32Насчёт жены вы чушь написали, будет сравнение с базой уже собранных фотографий, а не просто поиск детского порно
Sychuan
21.08.2021 18:09-1Не знаю, за что вас минуснули, но на хабре издавно много "спецов", которые с уверенностью рассуждают о том, о чем вообще ничего не знают. Янник Кильхер, кстати, сделал отличный, как и всегда, видео-разбор этого алгоритма https://www.youtube.com/watch?v=z15JLtAuwVI
staticmain
21.08.2021 21:29А как он туда попадет? С айфона можно зайти в даркнет?
Aelliari
21.08.2021 22:21По большому счету оно может попасть туда из clearnet-a, вплоть до передачи через мессенджер самому себе. Но если хочется сразу их дарквеба - то ВПН клиент до входной настроенной ноды - и вперёд, на покорение дарквеба
staticmain
21.08.2021 22:36Я просто слабо представляю себе пользователей, которые свободно перекидывают друг другу детскую порнографию через мессенджеры.
Aelliari
21.08.2021 23:23А я слабо представляю как вести переписку имеющую хоть какую либо ценность или несущую угрозу для меня никак её не защищая, пусть даже это будет банальный tls от браузера до сервера прячущий от промедуточных узлов. А вот террористы во Франции координировалась по средствам обычных смс, никак не защищённых. Но это есть, а мессенджеры с "честным" e2e ещё и закроют от создателей мессенджера что именно ты передал. Но вот я все равно против ослабления шифрования и допуска спецслужб к личным перепискам, пусть я и буду в них отправлять фото котиков и обсуждать бабочек.
amarao
20.08.2021 21:03+11А каким образом проверка скачанного файла по базе данных хэшей файлов защищает детей? Видимо, это работает таким образом: система обнаруживает фотографию изнасилования ребёнка и откатывает транзакцию, в которой ребёнок был изнасилован, таким образом, чтобы ребёнок разнасиловался обратно.
Другой версии у меня нет.
Aelliari
20.08.2021 21:49+1Примерно так же, как защищают запреты аниме и рисованных картинок. Нейросети могли бы "узнать" новый авторский контент, только вот это дополнительные ложно положительные срабатывания и ещё более глубокий зонд телеметрии. Нет, ни то, ни другое во благо не будет работать принципиально
amarao
20.08.2021 22:58+3Даже если там будет специнтеллект, который будет автоматически определять возраст вагины по мутной фотке 320х200, то, повторю, как оно будет защищать ребёнка? Роллбэк пенетрации?
Aelliari
20.08.2021 23:10+1Пострадавшим - разве что психологическая помощь. Новых - тюрьмой для совершившего. Но, это если допустить существование нейросети способной очень четко распознавать новый "контент" с минимальным false-positive. И даже будь такая сеть - я был бы всё равно против её внедрения.
Только это вот фантастика, а анализ по базе хэшей защитит так же как и блокировка аниме. Т.е. никак, эту задачу нужно решать иначе.
Ark1774
21.08.2021 08:51+2Возраст современных детей без паспорта не угадаешь. Плюс минус на пять лет ошибиться легко. А то и на все десять в некоторых случаях.
Am0ralist
21.08.2021 10:01Мне тут недавно прислали фотки моей 13 летней родственницы, наполовину итальянки, с макияжем и без. Даже без макияжа она не будет сильно выделяться среди 17-18 летних девушек у нас тут, я б сказал. В живую, думаю, пока ещё заметно будет, но по отдельным фоткам…
Это ещё если не вспоминать всякие фильтры, которыми пользуются заметное число пользователей, которые в обратном направлении откручивают
amarao
21.08.2021 10:45Ещё раз, если кто-то скачал фотку, каким образом обнаружение этой фотке кому-то поможет? Даже самая интеллектуальная нейронная сеть не сможет определить где этот ребёнок находится, и в каком году фотография была сделана.
Я понимаю, что бороться с детской порнографией благородно. Но дети страдают не от детской порнографии, а от сексуального насилия.
... Напоминает рассказ, в котором герой решил бороться с упоминаниями драконов. Он ходил по деревням, сжигал книги про драконов, крушил их статуи, закрашивал их изображения. Потом ему сказали, что за деревней живёт дракон и попросили его убить, на что герой сказал, что он борется с памятью о драконах, а не с драконами, и тихо слинял.
Ark1774
21.08.2021 11:14Мне это очень сильно напоминает действия одной конторы название которой из трёх букв.
Называть её я не буду, потому что закон внезапно может иметь обратную силу, а эта контора(и другие трёх буквенные) внимательно читают все сообщения на данном сайте и может счесть данное сравнение оскорбительным, подтянув/придумав на это дело какой нибудь закон.
Zalechi
21.08.2021 14:03Тогда пусть прочитают моё послание: неоСССР падёт!
/оффтоп/
А по сабжу, полностю согласен с 404амарао(кстати давно Вас читаю). %Юзернэйм, мог просо загрузить фото с фотохостинга для помастурбировать. Хотя есть вариант анализировать метаданные, если фото было сделано с камеры этого айфона(айди-камеры, когда, еще там что..)? А в остальном, пострадают "невинные" извращенцы?
А так же, не забывайте, что добрая половина порно студий живет на том, что нанимает молодых моделей 18+ выглядящих очень молодо, а позиционирует их, как: teens, young rough и тд..
То есть вся эта задумка очень спорная, и единственное, что немного оправдывает затею, если они будут сканировать прежде всего метаданные подтвержадющие, что снимок был сделан с конкретного девайса, а потом смотреть нейро-связи с базамм ФБР, но и то - выглядит с(т)ранно:(
Am0ralist
21.08.2021 11:24В идеале — повышается риск, уменьшается выгода. Единственный способ защищать новых людей от попадания в эту же ситуацию, когда что-то для кого-то бизнес.
А так можно рассказывать о бесполезности борьбы против детской проституции в Англии в конце 19 века…Ark1774
21.08.2021 11:34Введение запретов и повышение рисков в некоторых случаях ведёт к диаметрально противоположному(от ожидаемого) результату.
Да и дети благодаря интернету стали быстрее взрослеть в этом плане.
Что интересно будет делать полиция если найдёт запрещённый контент который сам несовершеннолетний владелец сделал, не особо понимая что это незаконно.
Посадить ребёнка за то что он занимался кое чем на камеру, а потом продавал свои фото/видео?Am0ralist
21.08.2021 11:57+4Что интересно будет делать полиция если найдёт запрещённый контент который сам несовершеннолетний владелец сделал, не особо понимая что это незаконно.
Вы пропустили новости из США, где некоторым подросткам на всю жизнь клеймо поставили о том, что они нарушали половую неприкосновенность детей, сделав собственные нюдсы и послав своим половым партнёрам (сексом то и разрешено законами заниматься)?
Посадить ребёнка за то что он занимался кое чем на камеру, а потом продавал свои фото/видео?
amarao
21.08.2021 13:57Повышается риск чего? Уменьшается выгода чего? Каким образом "риск фотографирования с айфона" хоть каким-то образом снижает риск принудительной пенетрации для ребёнка?
Am0ralist
21.08.2021 14:17Риск для потребителя контента, выгода для толкающих контент. Невозможно спасти всех разом. Но вот бизнес на этом делать можно затруднить.
Стоит ли отказываться от ПДД, если аварии всё равно происходят?
Почему-то вы так говорите, что если 100% всем не поможет, то делать не надо вообще ничего.
Вопрос в методиках и границах, однако верить в то, что подобные способы не начнут использовать просто ради утопических прав одних групп (в ущемление других), которыми люди так-то и полвека толком не владели в массе своими — вы оптимистичны.
Основная претензия к Эплам в том, что а) они собираются это делать на девайсах юзеров, б) нет гарантии, что они там будут делать только это, никто другой этим не сможет воспользоваться для доступа к вашим данным, нет уверенности, что только это будет делаться.
То есть глядя на то, как заявленные границы раз за разом везде двигались, нет оснований верить, что на этом остановится и не станут искать расистов, сексистов и прочее, причём уже насильно сканируя весь контент.
Причём делать это по сути будут корпорации.amarao
21.08.2021 16:34+1а при чём тут бизнес, если львиная доля всего происходящего, так сказать, "для души"?
Ark1774
21.08.2021 17:45Раньше этот контент может и валялся на файлопомойках да ВК в открытую, но как за него взялись приравняв к террористам/наркотикам, это стал товар. Под практически любым роликом в ютубе сейчас можно к примеру встретить объявление о продаже ЦП со ссылкой на телегу.
Хотя это возможно бизнес обмана, т.к. обманутый клиент никуда жаловаться не пойдёт.Am0ralist
21.08.2021 21:45Этот контент всегда был товаром, как и порно тогда/сейчас, просто до этого его и сливали в открытую на трекерах вместе с прочим порно.
Только в обычном порно снимаются всё таки те, кто уже в основном может думать и отвечать за себя… ну вы поняли
Ark1774
25.08.2021 11:54Да, практически 100% вероятность. Это ведь чистая прибыль без возможности присесть, как с продажей реального ЦП. Максимум что грозит, мелкое мошенничество. Во первых обманутый клиент никуда не пойдёт жаловаться, во вторых полиция такой мелочью заниматься не будет.
Но я думаю скоро такой «бизнес» закроется, т.к. сам себе роет могилу(все просто перестанут верить продавцам в телеге).
Am0ralist
25.08.2021 14:20Скажем так, вероятность присесть всё равно заметная, ибо в качестве затравки они на всяких торрентах, где подобное запрещено и банится, кидают в комментах к последним темам фотки и ссылки на обменники с примерами. Как уже в телеге с этим — не знаю, я там по группам особо не шляюсь и не видел пока вообще спама.
Ark1774
25.08.2021 15:11Так спам не в телеге, а в ютубе в комментах. Причём ролики даже не связанные с детьми(ни содержанием, ни аудиторией).
Am0ralist
25.08.2021 15:23Тьфу, да, запомнил, что телега упомянулась, а что спам на ютубе уже вылетело из головы. Да, спамящие не сядут, а вот в самой телеге думаю уже будет с типа пруфами подбивать. А может и так будут разводить, хз.
Athari
25.08.2021 16:01Но я думаю скоро такой «бизнес» закроется, т.к. сам себе роет могилу(все просто перестанут верить продавцам в телеге).
Лохи никогда не кончатся. Там же точно такая защита: никто не будет спрашивать знакомых, разводилово это или нет.
Am0ralist
21.08.2021 21:47А откуда у вас данные про львиную долю? Как по мне, так львиная доля даже порно сейчас — это бизнес. Сливов домашки на фоне сливов с трубы, порнхаба или профессиональной на трекерах заметно меньше.
Можно, конечно, рассказать, что на трубе это тоже для души, но…Athari
25.08.2021 05:02Когда ты заливаешь легальное видео на условный порнхаб, у тебя условная галочка "получать бабло за рекламу". Когда ты пытаешься продать нелегальное видео хоть кому-то, ты рискуешь встретиться с полицией и сесть всерьёз и надолго. В таких условиях мотивации творить ради денег, а не "для души", по-моему, не очень-то много.
Я подозреваю, что мало того, что "бизнес" в распространении нелегального видео — это капля в море, но и видео любого сорта — это капля в море собственно физических деяний. Подобные записи на порядок повышают риск встретиться с полицией.
Am0ralist
25.08.2021 10:16В таких условиях мотивации творить ради денег, а не «для души», по-моему, не очень-то много.
Правильно, там творят не ради денег, а ради бОльших денег.
А вы сейчас, по сути, рассказываете, что наркотой барыжат для души.
За порнохаб к вам так же могут прийти. В РФ — за создание и распространение порнографии, например. А ещё туда немного лили чужие видосики и изнасилования. Что, по идее, как раз таки грозит встречей с полицией, но мало кого останавливало…
Athari
25.08.2021 15:55А вы сейчас, по сути, рассказываете, что наркотой барыжат для души.
У продажи наркотиков и производства нелегальных видео тюремные сроки различаются в 10 раз, потенциальный доход в 1000 раз, целевая аудитория в 10000 раз. Я уж молчу про восприятие окружающими: одно — посидел и вышел, другое — клеймо на всю жизнь, которое ставит крест на личной и профессиональной жизни. Ну вы сравнили, конечно.
За порнохаб к вам так же могут прийти. В РФ — за создание и распространение порнографии, например.
В России скорее за распространение запрещённых мультиков в eMule в Shareaza придут. За ПорнХаб, ну, в Китае, может, придти могут.
А ещё туда немного лили чужие видосики и изнасилования.
Сомневаюсь, что таких видео больше 0.0001%, так что вряд ли имеет смысл обсуждать с точки зрения закономерностей.
Am0ralist
25.08.2021 16:32У продажи наркотиков и производства нелегальных видео тюремные сроки различаются
Вероятность поимки. За наркоту проще. А так же процент прибыли. У наркоты меньше (на каждом этапе, кроме главарей, но их поймать и доказать тоже трудно)Ну вы сравнили, конечно.
А что, у нас везде уже перестали совершать тяжкие преступления с умыслом?Сомневаюсь, что таких видео больше
А кто сказал, что других видео в общем потоке больше этих же процентов?
ComradePashka
25.08.2021 07:05Вы, видимо, очень мало знаете о порнографии. В интернете это товар №1 уже многие годы и вряд ли это когда-нибудь изменится.
Nurked
21.08.2021 00:37-3Твою мать! Я буду судить! Я буду судить бумагу и Древний Египет! Я буду судить Альзазена за изобретение фотографии! И бумаги!
Как они посмели... Из-за их позорного изобретения страдают люди.
Zalechi
21.08.2021 14:38У меня есть две идеи. Первая чисто "поржать", а вторая серьезная:
1) del, ибо народ не оценил идею заговора;
2) коротко: я не могу понять - это вообще законно? Вроде как есть основополагающие статьи о праве на приватность частной жизни, переписки, и онное может быть нарушено только с санкции суда. Тут получается, санкция была выдана заочно/привентивно? Ведь дойдет до того, что чьи-то репльно безобидные фотки просканируют(выяснится, что это не то, что искали), но этот уже скандал станет достоянием общественности, и пострадавший скажет: какого черта, кто-то сканировал мои фото без санкции суда?! Пусть из хороших побуждений
Странно это все выглядит.
nickolas059
Война меча и щита начата! Ваш ход, компания!