Источник: Press Association
За последние несколько лет в Сети несколько раз поднималась тема прослушивания мобильными устройствами разговоров своих владельцев. Речь не о самих телефонах, а о приложениях, задействующих микрофон для того, чтобы слушать, о чем говорит человек. Затем пользователю показывается релевантная его интересам реклама — в браузере или самом приложении.
По словам сторонников этой точки зрения, шпионят за пользователями практически все аппы крупных технологических компаний, включая Facebook и Google. Размещались в сети и видео, когда человек говорит о чем-то рядом с телефоном, а затем видит в сети рекламу, имеющую отношение к содержанию беседы. Для того, чтобы выяснить, правда это или нет, компания Wandera, специализирующаяся на информационной безопасности, провела собственное расследование.
Участники исследования использовали два устройства — от Samsung и Apple. Телефоны положили в «аудио комнате». В течение 30 минут в помещении циклически воспроизводили рекламу корма для кошек и собак. На телефонах установили Facebook, Instagram, Chrome, SnapChat, YouTube и Amazon, предоставив доступ этим приложениям к микрофону, камере и всем прочим функциям, которые запрашивались.
Затем исследователи запускали сайты и сервисы компаний, чьи приложения были установлены на телефонах. Цель — подсчитать количество релевантной исследованию рекламы и оценить трафик с устройств во время теста.
Затем эксперимент был повторен. Тем не менее, исследователи не обнаружили ни рекламных объявлений с кормом, ни роста передачи трафика или потребления энергии.
Кроме «аудио комнаты» с ее телефонами, были и контрольные устройства, которые размещались в помещениях без рекламы и вообще без шума. Как оказалось, контрольные устройства вели себя примерно так же, как и тестовые гаджеты, которым давали «послушать» рекламу.
По словам представителя компании Wandera, факт того, что контрольная группа телефонов и тестовые устройства вели себя примерно одинаково, без роста потребления энергии, трафика и т.п., можно считать доказательством отсутствия шпионских действий со стороны приложений.
Если бы это было так, то приложения потребляли бы примерно столько трафика, сколько цифровые ассистенты телефонов, которые находились в активном режиме.
Что касается технологических компаний, то их часто обвиняют в том, что они шпионят за пользователями. Марку Цукербергу даже пришлось выступать в Сенате США, отвечая на вопросы о действиях Facebook в отношении пользователей.
Стоит отметить, что в ходе исследования оказалось, что телефоны на Android потребляли существенно больше трафика в «тихих» комнатах по сравнению с устройствами от Apple. А вот iOS-приложения потребляли больше трафика в «аудио комнатах».
Тем не менее, глава компании, проводившей расследование, уверен, что никакой прослушки нет. Он заявил, что отвечает собственным «добрым именем» за результаты эксперимента. Возможно, что-то компания и упустила, но это маловероятно.
Но даже то, что прослушки нет, не отменяет факта наблюдения за пользователями — просто используются иные методы, включая отслеживание местоположения, трекинг-пиксели, история посещений сайтов и т.п.
aamonster
Претенденты на Шнобелевскую премию, похоже.
Странная идея проводить эксперимент, отрицательный результат которого ничего не докажет ("Группа кибербезопасников выяснила, что как минимум два телефона не шпионили за своими пользователями во время эксперимента… Но это не точно").
Gar02
Да им и Шнобелевской будет много. Вместо того, чтобы проигрывать записи бытовых разговоров голосом хозяина телефона, стали проигрывать рекламу. Это шедевр исследовательской мысли! Живые люди не говорят так, как в рекламе. Так что двойка экспериментаторам.
Мы на работе поговорили о пластиковых окнах. Никто ничего не гуглил. Минут через десять, почти всем пришла реклама окон. Поговорили с женой о выборе подарка, остановившись на книге. Зашли погуглить — сразу вылезла реклама книжных магазинов, даже искать не надо.
Так что да, шпионят. Но как-то не интенсивно, годом раньше было чаще.
aamonster
Откровенно говоря, мне такой вариант слежения (когда телефон просто лежит "выключенный", а какая-то прога пишет) кажется маловероятным (исходя из расхода батарейки, когда я впервые слышал эту легенду – я ещё точно знал, какое приложение когда и сколько сожрало). Но "доказательства" чудесны.
vedenin1980
Но ведь «ок гугл» вроде работает и при выключенном экране, кто мешает заодно реагировать на всякие важные ключевые слова и записывать их (скажем, только у тех кто включил ок гугл)?
aamonster
Afaik, чтобы не высаживать батарейку – нужна специальная поддержка от производителей железа. И, насколько мне известно, для "отлей в угол" она есть, а если бы была для более широкого спектра фраз (не говоря уж об анализе всего подряд) – информация бы просочилась хотя бы к авторам открытых прошивок.
Но в последние годы с работой приложений в фоне какой-то кромешный ад творится. Вот у меня сейчас на телефоне из 10 часов работы почти 2 часа — held awake. Мне это совсем не нравится. Причём почти всё время – kernel, т.е. узнать, что за прога жрёт батарейку, непросто. (это на андроиде, на iOS afaik получше, там Apple жёстко щемит работу в фоне, чтобы на хилой по нынешним временам батарейке получить приемлемое время работы)
xirahai
После установки LineageOS (Android 7) в комплекте с microG (замена гуглосервисов) имеем вот такое на самсунге S5 с заезженной в хлам батареей:
dartraiden
Полно ведь случаев, когда люди грешили на мистику, а разгадка оказывалась самой прозаической, но неочевидной, отчего и казалось, что кроме потустороннего объяснения ничего более реального нет. Также и с этим мнимым подслушиванием.
Aniro
Есть подозрения что это не шпионаж, а фокусы с бигдата. С книгой вообще все прозаично — гугл знает ваш круг общения, знает у кого скоро днюха, знает его предпочтения. Десяток профилей со схожим паттерном только что оформили заказ на вот эту книжу, нате и вам тоже.
Gar02
Не знает. Книга — ребёнку, который ещё ничего не гуглит.
И таки да, окна никто не гуглил. Я специально спрашивал. И почему пришло только участникам разговора, если в офисе — 300 человек на этаже, и все сидят на корпоративном Wi-Fi с единой точкой выхода?
Whuthering
Google Services MAC-адрес точки доступа тоже трекают, по их словам для навигации, а по факту могут и для таргетинга.
Gar02
OpenSpace, 4 сектора по 75-80 человек. И ребёнок, всё-таки, ничего тогда не гуглил в силу возраста.
А вот самый главный аргумент «за»: точный рекламный выстрел приносит гораздо большую прибыль, чем метание по площадям. Уж если «корпорации добра» тратят серьёзные деньги на
заглядывание в любую дыркуанализ поведения пользователей в Сети, то почему это они не должны анализировать их разговоры? Они там что, тупые, или вдруг у них проснулись совесть, этика и прочая «ерунда», мешающие делать им деньги? Технологии-то уже есть.Whuthering
roscomtheend
А какая реклама была до этого? Вот прямо по блокам, что в каком. Или кто-то гуглил, потом зашёл разговор об окнах, а потом, опа!, все подключённые к одной сети стали замечать рекламу (а кто не замечал — услужливый сосед "у меня как раз реклама появилась", "о, и у меня".
Надо не когнитивные искажения культивировать, а поставить эксперимент с грамотным дизайном.
Gar02
Именно так. Поговорили, а потом — «О, и у меня».
dartraiden
К сожалению, люди не утруждают себя доказательствами и верят в свою гипотезу так, словно она доказанный факт.
TiesP
Интересно узнать схему «корректно поставленного эксперимента» для подобной задачи. У вас есть идеи?
Zangasta
Мне кажется, что механизм, по которому телефоны реагируют на обсуждаемые в их присутствии темы несколько другой.
Телефоны отслеживают не произнесенные при них (через них) слова, а поисковые запросы в интернете, который предпринимают находящиеся в вашем социальном круге люди.
Это может объяснить все известные мне случаи «шпионажа» телефонов. Не так давно, я обсуждал по телефону кастрацию кота и о бинго — сразу после этого разговора мне начали показывать рекламу врачей-кастрологов и клиник. Я позвонил и проверил — сразу, после окончания моего разговора мой собеседник бросился искать клиники в интернете.
Я решил проверить — начал искать печь в сауну, а потом опросил знакомых. Так и есть — всем стали показывать рекламу бань, печей, саун, каменок и прочего.
Таким способом, кстати, можно шпионить за друзьями и знакомыми, делая выводы по показанной тебе рекламе. Не сложно догадаться, кто искал новый автомобиль, кто ломбард элитных часов, а кто средство от простатита.
Aingis
Угу, мои коллеги-девушки так обсуждали свадебные торты, потом мне показывалась реклама тортов. Вряд ли это телефон «подслушал», тем более он не был связан с компом. Скорее всего, были запросы коллег с тех же IP-адресов.
Arty_Fact
Я тоже проверял, получил такие же результаты.
Также отдельно тестировал «подслушивание», говоря ключевые слова при телефоне. Ничего из произнесенного не было показано.
we1
А почему телефон знает с кем вы говорили по телефону? То есть шпионит все-таки за вами, а не за друзьями.
dartraiden
qw1
Этого недостаточно. Кроме адресной книги, нужно синхронизировать и журнал звонков, а это слежка.
У меня в адресной книге есть такие абоненты, как сантехник и курьер доставки, которым я звонил 2 года назад, но не удалил их из книги. Показывать им рекламу по моим запросам будет нерелевантно.
Vovanys
Параноя мод: просто в рекламе присутствует не слышимый человеком звук, чтобы телефон понимал это и не таргетировал…
Нужно проверять на реальных человеках)
HardWrMan
Паранойя паранойей, но статья про маячки в звуке рекламы была даже здесь.
habr.com/post/403733
Так что да, одно дело крутить приложениям готовую рекламу, которую сами рекламодатели знают и умеют отсеивать, а другое — человеческую спонтанную речь на разные темы.
vedenin1980
ИМХО не очень убедительно. Если бы прослушку делал я, то:
Трафик – чтобы трафик не рос можно просто в часы простоя пересылать белый шум, а в часы активной прослушки ограничивать самыми важными данными, парсить звук на стороне телефона (сейчас это вполне уже возможно) и удаляя повторы, типовые фразы и вообще все слова которые укладываются в обычное распределение, не особо интересны с точки рекламодателей и т.п. То есть, например, раз в сути посылать “корм, собака, кошка” и если нет слов посылать белый шум средней длины или просто пусткую строку из пробелов.
Отсутствие изменение рекламы можно объяснить медленными изменениями рекламных профайлов, переобучениями модели машинного обучения, мало ли по каким причинам человек слышал про собачий корм. Я бы просто сохранил ключевое слово и начал тарегтировать рекламу через несколько недель, если ключевое слово встречалось достаточно часто. А так, лишь бы чуть-чуть повысил вероятности показа рекламы корма и то не мгновенно (это технически довольно сложно). С точки зрения рекламодателя намного выгоднее знать постоянные предпочтения пользователя (у этого пользователя есть собака уже в течении 5 лет), чем временные интересы (мало вероятно, что за один день он себе завел собаку, скорее он просто помогал другу или интересовался темой).
В общем, я бы не сказал, что это действительно достоверный результат, тут для нормальной проверки нужно брать две группы телефонов, вести естественные обсуждения на разные типы товаров и в проводить тестирование в течении длительного времени (несколько месяцев).
etozhesano
Обсуждал на днях со второй половинкой покупку воды бутылями по 10л (живой разговор, никто ничего не гуглил и т.д.), сошлись на том, что через неделю, обсудим этот вопрос детальнее.
Через 1-2 дня в инсте у неё при листании истории, появляется реклама воды. Так что вот так.
Javian
habr.com/ru/post/394605
roscomtheend
Такое уже было "телефон меня подслушивает, только поговорили — показывает рекламу". Потом оказывается что то реклама была до, то что-то искалось или тыкалось по ссылкам (и уже из этого вырос разговор). Т.е. всё получается наоборот — это человек телефон подслушивает/подсматривает.
dMac
/paranoia mode part 2/ Отличить работу в аудиокомнате и голос владельца телефона очень просто — уровень сигнала на втором микрофоне (том, который для шумоподавления) сильно разный. Когда слышим, что это не владелец — слежку не включаем/paranoia mode off/
А если серьезно — хотя распознавание текста с голоса уже давно привычная технология, отслеживать запросы браузера, имхо, все еще на порядки проще и дешевле.
tuxi
В промышленной рекламе вроде как есть сигналы, которые используются для подмены федеральной рекламы на местную при ретрансляции передач. Ну и странно, что исследователи не попробовали использовать голос владельца смартфона. Трекер должен же реагировать прежде всего на голос и интонации владельца, а не фоновый звук рекламы из тв.
tonad
Давайте проснифим трафик, что бы определить шпионит устройство или нет… Хотя нет, бред какой-то, лучше посмотрим рекламу…
vedenin1980
… и увидим передачу каких-то данных на сервера гугла/апла, зашифрованных открытым криптографическим ключом огромной длины. Как вы определите, где запросы на обновления системы, а где зашифрованная информация в закрытых и зашифрованных протоколах? Любой телефон сейчас передает и получает изрядно информации от обновлений до синхронизации почты или карт. Отключить это можно, но кто это делает?
tonad
Тут, как обычно, зависит от того, что мы хотим. Найти или не найти. Или не искать вообще… Я могу Вам предлагать способы, которыми можно пытаться определить, а Вы можете мне рассказывать, как можно от этого защитится. Но если не пытаться, то точно ничего не определить )
Gar02
Или не искать, или предложить методы поиска, которые точно не сработают…
Неужто Вы думаете, что инженеры Гугла настолько тупые?
tonad
Думаю они обычные люди. Думаю они могут ошибаться. Думаю, что им дают задачи другие люди, задачи, в которых основное прибыль, а безопасноть на сколько останется времени, как и у остальных инженеров, впрочем.
Или Вы считаете, что нет никаких способов определить, сливает ли гуглфон лишнюю инфу, которую его не просили сливать?
vedenin1980
Такую глупость ни один обычный человек с интеллектом, достаточным, чтобы пройти собеседование в гугле, не сделает. Никогда. Это как выставить управление ядерными ракетами на публичную страницу в инете.
vedenin1980
Ну, вот и предложите способ, как вы сумеете в зашифрованном трафике к серверу определить левые данные.
tonad
Вы подменяете понятия. Я не писал, что могу определить данные в зашифрованом трафике. Но к счастью существуют другие подходы, позволяющие делать предположения и выводы на основании коственных наблюдений в разных ситуациях. И само наличие трафика, когда его быть не должно, тоже может дать повод для определенных размышлений.
vedenin1980
Ну, так опишите эти подходы. В статье явно же написано трафик после начитывания текста никак не изменился. Расскажите, что вы конкретно будете делать с трафиком.
tonad
Окей…
Покупаете 100 разных телефонов, настраиваете каждый на минимум левого трафика, анализируете трафик по хосту, времени и количеству.
Заходите в браузер, переходите на сайт с большим колличеством рекламы.
Разделяете телефоны на группы, ведете для разных групп разговоры на разные темы, анализируете трафик в течении продолжительного времени.
Снова заходите на сайт с большим количеством рекламы.
Повторяете несколько десятков раз, записывая все происходящее, анализируете результаты. Делаете выводы.
А сказать 10 раз кот а потом открыть сайт и не увидеть рекламы корма, это нифига не «группа кибербезопасников выяснила...»
vedenin1980
Любой левый трафик обнаружили давным давно. В статье и так сказали, что количество и время постоянны. Следовательно, если и будет левый трафик, он будет идти к обычных сервисам обновления, проверки почты и т.п. и равномерно по времени. Если вы все стандартные сервисы отключите — ничего передаваться не будет.
Еще раз что вы увидете в зашифрованном равномерном трафике, идущем к стандартным сервисам? Знаете как работает хотя бы TOR?
tonad
О общих чертах. Свою реализацию не писал.
В самом трафике ничего. Но 100мб по Wi-Fi когда у тебя последняя версия всего установлена а ты никуда не ходишь с телефона, смогут насторожить(осторожно, сильно утрирую).
Хотя, в статье прямо написано, видимо читал невнимательно
Тоесть есть аномальное поведение по трафику. Оно необьяснимо, но нам нужно поверить, что не шпионят )
А это сложно, после всех случаев, когда оказывалось, что таки шпионят.
Rosenkraunz
а никто и не подозревал что телефон реагирует на аудиорекламу.
опасения были именно в том что он разговоры подслушивает.
и не факт что мобилка отсылает все моментально, прямо в ходе обсуждения.
и не факт что отреагирует на собачий корм, ключи могут быть другие.
короче эксперимент фейл.
думаю тут нужно отсматривать большие объемы данных с немалого числа устройств добровольцев.
dartraiden
То есть, по мнению сторонников гипотезы о подслушивании, там ещё в приложениях должна быть какая-то нейросеть, которая отделяет аудиорекламу от обычных разговоров, ведущихся в присутствии аппарата?
Вариант с непрерывной отправкой всего записываемого в сеть для анализа отбрасываем, потому что это нереально до тех пор, пока мобильный безлимит не станет повсеместным и полноценным.
vedenin1980
Вы так говорите, как будто это что-то невозможное, всякие «ок гугла» вполне уже есть, да и оффлайн системы распознавания голоса тоже существуют и не сказать, что весят слишком много. Берем тот же «ок гугл» дорабатываем его, а если кто-то насчет разбираться просто говорим, что это для защиты от ложных срабатываний.
Не говоря уже о том, что это могут быть и просто алгоритмы, подозреваю, что аудиореклама из колонки сильно отличается от естественного голоса даже по диапазону частот и темпу.
Кто мешает отправлять только по вайфаю? У меня мониторинг показывает, что система обновления Андроида несколько Гб за месяц сьедает по вайфаю, там уже слона спрятать можно.
dartraiden
Бритва Оккама заставляет выбрать более простой вариант — люди таки ищут в интернете (через браузер или приложения, неважно) то, что их интересует, а потом и разговаривают об этом с другими людьми. Отсюда создаётся иллюзия подслушивания.
Whuthering
Плюс к этому еще есть Феномен Баадера — Майнхоф, который вполне может иметь место в довольно большом количестве подобных «случаев».
vedenin1980
Бритва Оккама это о порядке расмотрения и проверки гипотиз от простого к сложному, а не о том что всегда должна быть истина самая простая и нечего проверять сложные. Так-то квантовая теория или теория Энштейна совсем не просты.
Whuthering
tonad
поправлю
И о таком чипе пока, что ничего не известно..
tuxi
Имхо там этакие «слепки» на ключевые фразы/слова. Список можно подгрузить онлайн. Если очень утрированно: есть клиент на список слов, на аудиторию в 10млн, грузим «слепки» на их телефоны, слушаем, получаем совпадения (для этого и не надо отправлять на сервер), начиная с некой частоты употребления слов + геолокации, отправляем коротенький мессадж на сервер, ставим галочку, даем рекламу. Ну это если очееень утрировано, но я например не вижу препятствий именно так сделать.
CorneliusAgrippa
А бывают просто совпадения. Как-то мы сидели на пристани, где было много яхт, и мой друг спрашивает: «А бывает автостоп на яхтах? Ну, типа, подходит кто-нибудь и просит подбросить до соседнего порта?» Я отвечаю, что много ходил на яхтах, но никогда такого не встречал, и никогда о таком не слышал. Через 10 минут подходит девушка, и спрашивает, могут ли ее подбросить до соседнего порта на яхте. Тоже шпионаж?
dartraiden
Причём, человеческий мозг запомнит совпадение «я поговорил про A и мне показали рекламу A», но проигнорирует приходящееся на это совпадение десятки случаев за день, когда он поговорил про B, но рекламу B ему не показали.
we1
А я недавно ставил эксперимент, поскольку давно были подозрения. Эксперимент начался случайно, с разговора о невозможности компьютера дома, когда если маленькие дети. Я предложил «какой-нибудь ноутбук, например Панасоник делает защищенные ноутбуки» и почти сразу инстаграм мне показал рекламу защищенного ноутбук Панасоник от одного из онлайн-магазинов, причем раньше ноутбуки и этот магазин мне не показывали. Потом уже начался эксперимент, я начал говорить о краске в принтере, которая то ли засохла, то ли закончилась. Мне показали рекламу бизнес-оборудования, где в числе прочих были термопринтеры. Почти угадали? Но нет, дальше интересней. Немного погодя мне показали рекламу красок Тикурила, которые тоже у меня в телефоне оказались впервые, поскольку краску я не искал никогда, ни принтерную, ни строительную. Дальше было еще интересней: появилась реклама детского питания. Детей у меня нет и ничего детского никогда не искал и ни с кем ни обсуждал кроме случая в этот день (см. выше), следовательно и рекламы детских товаров не было (и потом тоже не было).
В общем, среди примерно десятка реклам, которые я видел за те полчаса, четыре были «подобраны по ключевым словам», которые были произнесены в присутствии двух телефонов: iPhone XR и Sony XA2 — кто из них шпионил я не уверен, но есть подозрение, что iPhone, поскольку предыдущий эпизод с удачной рекламой у меня появился когда говорили при наличии iPhone, но без XA2 (он был в другой комнате). Оба телефона периодически цепляются к Wi-Fi на одном IP.
В истории, про высокий интеллект, который предсказывает, что мне нужно я не верю, поскольку первый раз заметил это на рекламе междугородних переездов, хотя я никуда ехать не собирался, а просто присутствовал при разговоре, как у знакомой знакомой появилась необходимость перевезти в другой город за несколько тысяч километров свою швейную машинку. То есть не мне это нужно было, никогда ничего не перевозил и не собирался, а значит интеллектуальная система никак не могла угадать. Важно, что ни до, ни после, рекламы перевозок я не видел. Она появилась ровно один раз после разговора.
Про «повышение трафика» как-то не совсем понятно. Распознавание голоса уже несколько лет делается в телефоне. Куча информации отсылается при запросе, но намного меньше, чем поток с голосом. Это не нужно. Не факт, что там ключевые слова, а не номера тегов рекламы доступной сейчас для моего региона.
dartraiden
Druu
С чего вы взяли, что впервые? Вам, может, каждый день эту рекламу показывают. Просто вне подобных экспериментов вы на нее внимания не обращаете, вот и все.
we1
Рекламу, которая задолбала я помню. Ну и еще я немного рекламой занимаюсь, это, так сказать, область моих профессиональных интересов. Ни одна из этих четырех реклам не показывалась ни до, ни до после. Четыре разных рекламы, а не только краска. Это многовато для случайного совпадения.
TiesP
Подумал, что это из серии «британские ученые установили...». Проверил, действительно компания из GB :-)
Если серьёзно, то непонятно, почему все так зациклились на траффике и его проверки для подтверждения (опровержения). Существующие алгоритмы уже позволяют на мобильном спокойно распознавать речь… Думаю, что честные разработчики (например из Яндекса) это подтвердят.
we1
Да. Позволяют. На моем прошлом телефоне надо было скачать 15 мегабайт и гугл распознавал без подключения к интернету.
TiesP
Ну да, нейронные сети (их веса, параметры) имеют определенный объем. Хотя они становятся всё компактней. Постоянно ищутся способы их уменьшения.