Все мы давно знаем, что Google, Яндекс и другие коммерческие поисковые системы анализируют историю посещений и поисковую историю пользователя, на основе которых хитрые алгоритмы пытаются предсказать, что «пригодится» человеку в следующий раз. Когда эта технология только зарождалась, она казалась логичной и понятной, но сейчас этот подход выглядит крайне и крайне пугающе. Потому что раньше представители Google, самой популярной поисковой системы в мире, утверждали, что достаточно выйти из аккаунта, чтобы избавиться от «предвзятости» поисковой выдачи и получить нейтральные результаты при использовании сервиса.
Парни из DuckDuckGo в своем исследовании утверждают, что даже при выходе из аккаунта и переходе в анонимный режим, Google продолжает подстраивать поисковую выдачу согласно ранее собранной о пользователе информации. То есть компания не оставляет человеку выбора и все равно манипулирует поиском, даже если действия пользователя явно говорят о том, что он хочет получить «нейтральный» результат.
Даже если учесть то, что DuckDuckGo — тоже поисковик и может быть крайне предвзят к Google и ее алгоритмам, результаты исследования заставляют задуматься. Для того, чтобы проверить работу поиска от Google, команда DuckDuckGo собрала группу из 87 добровольцев и получила выборку из 76 результатов поиска. Эти люди сначала вводили заранее оговоренные и общие для всех запросы в анонимном режиме, который по идее должен обеспечивать выборку, свободную от влияния внешних факторов типа истории поиска, а после — из под своих учетных записей. Поиск производился всеми добровольцами одновременно (эксперимент проводился 24 июня 2018 года в 21:00), сначала в приватном режиме без логина, а после — из под своих учетных записей. В исследовании принимали участие только жители США, чтобы избежать влияния фильтров по «государству».
При таких условиях ожидалось, что все пользователи +\- получат схожую поисковую выдачу, так как запросы производились примерно в одно и тоже время, из одной страны и в определенном порядке. Однако большинство добровольцев получило уникальную поисковую выдачу в приватном режиме + персональные рекламные ссылки (первые 3-4 результата). Конкретнее по цифрам на три используемых запроса:
- «Gun Control»: 62 ссылки, 52 из 76 участников (68%) получили уникальные результаты.
- «immigration»: 57 ссылок, 43 из 76 участников (57%) получили уникальные результаты.
- «vaccinations»: 73 ссылки, 70 из 76 участников (92%) получили уникальные результаты.
По логике вещей, если такая вариативность поисковой выдачи имеет место быть в «анонимном» режиме без логина, то уникальность поиска при входе в аккаунт должна просто зашкаливать. Однако в случае обычного поиска (с влиянием истории запросов) картина по уникальности выдачи почти не сдвинулась с места:
- «Gun Control»: 58 ссылок, 45 из 76 участников (59%) получили уникальные результаты.
- «immigration»: 59 ссылок, 48 из 76 участников (63%) получили уникальные результаты.
- «vaccinations»: 73 ссылки, 70 из 76 участников (92%) получили уникальные результаты.
Что это значит? Это значит, что заявления Google о том, что компания решила проблему с предвзятостью выдачи еще осенью этого года — не соответствуют действительности.
При этом команда DuckDuckGo проанализировала еще и «новостную» выдачу в инфобоксе. Некоторые источники видели все участники экасперимента, но «почему-то» периодически Google подсовывала некоторым людям индивидуальные ссылки, которые видели только они. Несколько человек вообще не видели инфобокса, что тоже «очень странно». Подробные цифры можно посмотреть в оригинальном посте.
В идеальном мире анонимного поиска каждый пользователь, который не захотел предоставлять Google свои персональные данные, должен получать один и тот же набор наиболее релевантных ссылок на свой запрос, как и любой другой пользователь из его страны. Однако Google продолжает отслеживать своих пользователей и навязывать им «умную» выдачу для того, чтобы продавать товары и услуги рекламодателей. «Большой Брат» лучше знает, что вам нужно.
Тут в XLS-файле расположены инструкции, которыми руководствовались добровольцы. С полными результатами исследования можно ознакомиться в этом XLS-файле. Python-код для анализа результатов лежит в репозитории на GitHub.
Комментарии (154)
aeeneas
06.12.2018 15:12-5Анонимный режим браузера решает.
ragequit Автор
06.12.2018 15:13+2Правда?
даже при выходе из аккаунта и переходе в анонимный режим, Google продолжает подстраивать поисковую выдачу согласно ранее собранной о пользователе информации
aeeneas
06.12.2018 15:26-2Вот тут как раз не понятно, имел ли место переход в анонимный режим браузера. Если имел — то тогда Google как-то совсем магически отслеживает пользователей.
StpMax
06.12.2018 15:59+1Даже переход в анонимный режим в другом браузере не помешает гуглу определить вас по цифровому отпечатку устройства.
questor
06.12.2018 16:27+1Пользуйтесь виртуальными машинами. Я правда в последнее время стал скептически посматривать и на "попользовался машиной — откати к нулевой точке восстановления" (там, где чистая операционка) и всё больше засматриваюсь в сторону автоматического создания виртуалок и ещё мне интересно, не придумают ли скоро технологии, когда фингерпринт виртуальной машины будет содержать параметры хост-машины (а что, ведь выход из виртуальной машины уже давно умеют делать, скажем вирусы-трояны)
ITurchenko
06.12.2018 18:40+7Пользуйтесь виртуальными машинами
А что насчёт IP адреса (и сопутствующей геолокации по нему)?
Или ещё и прокси к виртуалке привязывать нужно?AlienJust
06.12.2018 21:53Tor.
Правда, Гугл может отобразить страницу на неизвестном языке и обвинить Вас в том, что Вы — робот. o_O
Anubioz
06.12.2018 23:08Пользуйтесь ipv6 (например от tunnelbroker.net) — прям идеально сбивает все поисковые пузыри, связанные с местоположениями…
artemisia_borealis
07.12.2018 01:52ну, как сбивает… У меня жужль постоянно на шведском всё пишет (подключён через Стокгольм). Да, он думает, что машина в Швеции, но ведь он всё время так думает, а не то чтобы сегодня — Лилль, завтра — Браззавиль.
Пользуюся я как DuckDuckGo так и ipv6.google.com. Выборки — разные. Аккаунта жужль у меня нет, так что даже не логинился никогда.
Не, можно конечно, подключиться через разные сервера (вроде пять серверов на аккакунт дают, да и аккаутов можно несколько завести) и по крону их рандомно переключать на руотере. Но это — вышак.
AlKozlov
07.12.2018 14:34C геолокацией по IP отдельная проблема. Даже если в настройках поиска указать страну и язык, Гугл все равно подсовывает тебе результаты поиска для твоей страны. Посмотреть выдачу в другой стране, кроме как через прокси / виртуалку невозможно.
При этом наблюдается другой забавный «баг» Гугла — у него свои закрытые алгоритмы геопривязки IP с непонятной логикой. Когда все другие сервисы верно определяют страну (под верно я понимаю, что трафик с сервера физически уходит через маршрутизатор провайдера в какой-то стране (легко проверить c помощью trace ) Гугл решает «по своему». Особенно часто проблемы как раз с виртуалками.
fpir
07.12.2018 09:56Я триалю Vivaldi, но полностью туда не переехал. Выдача из под хрома и из под вивальди отличается. В вивальди у меня свой акк и в гугл из него не логинюсь. И, что характерно, из убунты в гугл логинюсь на хромиуме, но выдача отличается прям разительно. Такое ощущение, что на логин гугл обращает внимание в последнюю очередь.
Hardcoin
06.12.2018 16:10Очень жаль, что вам непонятно, как открыть файл с инструкцией (где написано про private window), зато понятно, как написать комментарий на Хабре о ваших непонятках.
1c80
06.12.2018 16:00яндекс делает так же, а какие ещё варианты, если нужны деньги?
MTyrz
06.12.2018 20:33+1Не рубите, почтенные люди, сплеча...… Не спешите, друзья, осуждать палача:
Если платят за каждый удар по динару,
Руки сами спешат к рукояти меча!
(Олег Ладыженский)
melodyn
06.12.2018 16:25+5В силу некоторых причин (не паранои) давно использую приватный режим на всех браузерах и устройствах, и стараюсь не логиниться где-либо без необходимости, тогда после перезапуска браузера персонализация пропадает и почти все сайты покрываются одной и той же рекламой вот уже несколько лет: «Нужна Помощь От Бога?».
Ощущение, что гугл так троллит :)IvanNochnoy
06.12.2018 16:37Точно! Когда отключашь персонализированную рекламу на YouTube, всегда вылезает «Вывел 16 000 за сутки» и «Нужна помощь от Бога?». То есть это реклама для пользователя по-умолчанию. Я в раздумьях.
bpcham16
07.12.2018 19:44ежедневная история!
попадается исключительно на сайтах с информацией по программированию,
может Скайнет предупреждает…
pharrell
06.12.2018 21:02Забавно. Вчера тоже вошёл в режим инкогнито в хроме, и первый же сайт выдал мне вот этот баннер. Интересно, с чем это связано…
Баннер с предложением помощи от бога
Sirion
06.12.2018 21:12Часто его вижу в хроме на планшете, без инкогнито. Но только на определённых сайтах. Например, на викии по дарк соулс)
ClearAirTurbulence
07.12.2018 00:32наверное с тем, что это дешёвая нетаргетированная реклама, купленная какими-нибудь баптистами.
SquareRootOfZero
07.12.2018 03:35Господь как бы намекает вам: «От Гугла-то вы спрячетесь, а вот от Меня...»
petrovichtim
07.12.2018 04:47Я всегда по ней кликаю, так же им бюджет можно слить.
AllexIn
07.12.2018 10:33Руками чтоли кликаете? adnauseam же есть.
petrovichtim
07.12.2018 10:44Спасибо, не знал про такое. Думаю её уже научились определять рекламодатели и клики не засчитывают
funxies
07.12.2018 19:44Бюджет вы может и сольете, но зато Google будет считать рекламу эффективной и показывать ее чаще. С бюджетом рекламодатель вопрос может решить, а вот если по этой рекламе никто не будет кликать, тогда действительно будут проблемы из-за алгоритмов Google.
Nikoobraz
07.12.2018 19:44Причем немало доставляет и продолжение: «начни с ним отношения сейчас». Спасибо хоть не тащат сразу в ЗАГС.
Хотя иногда могут быть и забавные ситуации с подобной рекламой. В частности пару месяцев назад на хабре в какой-то из статей такой рекламный блок, прилегая к чьему-то комменту образовал забавный микродиалог который выглядел примерно так:
— «Пытаешься найти бога?»
— Это всего лишь список констант с адресами регистров.
9660
07.12.2018 05:23А откуда вывод что
Google продолжает подстраивать поисковую выдачу согласно ранее собранной о пользователе информации
Для этого нужно показать корреляцию пользователя и информации. В материале есть лишь различие получаемых данных разными пользователями. Этому может быть и иное объяснение.wataru
07.12.2018 12:44Вот тоже об этом сразу подумал. Может у них алгоритмы недетерменированные. Или эксперменты всякие случайно включаются.
yuuyake
06.12.2018 15:24-1Я не понял про анонимный режим. Этот режим был включен где, в браузере Chrome? Тогда я не удивлен. А если использовать Opera, то какие будут результаты? А почему фильтр только по государству? Может гугл подстраивает выдачу под штат, город? Слишком много но. Но то, что они за нами следят, это и так понятно.
dumistoklus
06.12.2018 15:25+1Несколько человек вообще не видели инфобокса
Вот это похоже на эксперимент от самого гугла
lair
06.12.2018 15:46+3В идеальном мире анонимного поиска каждый пользователь, который не захотел предоставлять Google свои персональные данные, должен получать один и тот же набор наиболее релевантных ссылок на свой запрос, как и любой другой пользователь из его страны.
Конечно, нет. Анонимность не имеет никакой связи с вариативностью: Гугль может слегка перемешивать поисковую выдачу для всех пользователей, чтобы потом использовать результаты для улучшения релевантности для всех пользователей.
mikhaelkh
06.12.2018 17:46+3Ну и со стороны гугла было бы глупо не учитывать местоположение. Очевидно, результаты поиска «зимняя одежда» для жителей Аляски и Флориды или абсолютно разные, или кто-то из них будет крутить пальцем у виска.
DrZlodberg
06.12.2018 15:46Хм… Запрос «gun control» и «immigration» в фоксе и 2х приватных окнах waterfox дал один результат, а в ишаке — другой, несколько отличный. Без сравнения с тем-же запросом с другой машины — малопоказательно, но любопытно. Возможно, что на поиск как-то влияют настройки конкретной системы. Было бы интересно сделать несколько копий одной системы и посмотреть, как изменится поиск в таком случае.
ЗЫ: гуглаккаунта нет.
Alexey2005
06.12.2018 16:10«Поисковик» Google уже давно перестал искать. Он теперь впаривает, а не ищет. Пока вы ищете нечто распространённое, у вас даже может сохраняться иллюзия, будто Google действительно ищет. Но лишь только захочется странного, отличного от того, что ищет 95% населения…
Вот например, мне потребовалось узнать физические размеры (высоту/диаметр) банки бнв-1000. И что же? Google завалил всю выдачу ссылками на мотоциклы BMW, и пришлось изрядно потрудиться над запросом, чтоб найти искомое.
Или вот если вам нужно найти статьи по настройке VNC, то он забьёт всю выдачу статьями про мобильного оператора МТС.
Или если вы хотите найти статьи по созданию плагинов к Firefox Mobile. Именно Mobile, потому что там всё кардинально отличается от десктопной версии. Но заставить Google выдавать только те странички, где есть слова «Mobile» и «Android» невозможно в принципе, он выдаст вам вообще все статьи про создание Firefox-плагинов, и найти в этой выдаче те, где речь идёт о мобильной версии, не проще, чем иголку в стоге сена. Тут даже поиск по базе знаний Mozilla даст более релевантные результаты.
Вообще, выполнить самый обычный строгий поиск, чтоб в выдаче оказались те и только те страницы, где по Ctrl+F найдётся каждое слово запроса, уже давно невозможно. Теперь Google сам решает, что конкретно вы ищете. И если его мнение отличается от вашего — что ж, вам не повезло. Ну это общая тенденция сейчас, мол сервисы должны не удовлетворять спрос, а создавать его. Но это в любом случе нельзя называть поиском. Это именно впаривание, которое в некоторых случаях лишь создаёт иллюзию поиска.
Уж молчу про откровенный поисковый мусор, когда всякие pinterest'ы и прочий шлак иногда по 5-6 страниц занимают.lair
06.12.2018 16:26+16Вот например, мне потребовалось узнать физические размеры (высоту/диаметр) банки бнв-1000. И что же? Google завалил всю выдачу ссылками на мотоциклы BMW, и пришлось изрядно потрудиться над запросом, чтоб найти искомое.
Поставить две кавычки — это "изрядно потрудиться"?
sshikov
06.12.2018 19:55Не, вы конечно правы насчет кавычек, но тем не менее факт налицо.
Немного другой пример — меня как-то откровенно утомила попытка гугля сделать автозамену «ms sql» на «my sql». Это не «изрядно потрудиться», если вам нужно один запрос, но так как отключить эту автозамену практически нельзя, и вы регулярно ищете что-то подобное, такое поведение способно просто достать.
Фактически, я бы на сегодня ВСЕ запросы писал бы в кавычках, чтобы всю подобную логику отключить. Назвать это достижением язык не поворачивается.SergeyMax
06.12.2018 20:41-1Чтобы не было автозамены «my sql» на «ms sql», «my sql» следует писать как «mysql».
sshikov
06.12.2018 21:13Вы о чем? Мне не было нужно my sql, мне нужно MS. И самое главное — вся эта хрень чрезвычайно непредсказуемая. Вот на сегодня например такой автозамены уже я не вижу.
pulsatrix
07.12.2018 16:11Вот на сегодня например такой автозамены уже я не вижу.
Ну они развиваются, потихоньку. Искусственные интеллекты, я имею в виду.
vita1ij
07.12.2018 19:44как альтернатива в данном случае — искать t-sql (Transact-SQL), что по сути тоже самое, что MS-SQL
lair
07.12.2018 13:04Немного другой пример — меня как-то откровенно утомила попытка гугля сделать автозамену «ms sql» на «my sql».
А я этой автозамены не вижу.
MacIn
06.12.2018 20:02+3Не спасает. Я сейчас не приведу конкретные примеры, но не раз был раздосадован тем, что гугл игнорирует минус и кавычки — в полученных вариантах, популярных среди большинства пользователей, но бесполезных мне, не было нужного слова в кавычках или наоборот было вычеркнутое.
staticlab
06.12.2018 16:27+8Вот например, мне потребовалось узнать физические размеры (высоту/диаметр) банки бнв-1000. И что же? Google завалил всю выдачу ссылками на мотоциклы BMW, и пришлось изрядно потрудиться над запросом, чтоб найти искомое.
бнв-1000 размеры -bmw
Первый же ответ выдал ГОСТ Р 51477-99.
QDeathNick
06.12.2018 16:43-10Вот не лень вам было так трудиться и писать запрос?
Igor_Shumilov
06.12.2018 17:13+6На такой запрос тратится гораздо меньше времени, чем на разгребание всех ссылок про «БМВ».
QDeathNick
06.12.2018 17:22-6Простите, опять забыл тег «ирония» указать. Всё же тяжело нам андроидам жить среди людей.
staticlab
06.12.2018 17:15+6Хм, ну смотрите, сначала я просто поискал "бнв-100", мне выдало мотоциклы BMW просто потому, что Гугл посчитал это опечаткой. Очевидно, следующий шаг — удалить их, добавив "-bmw". Он сразу стал выдавать прайсы и коммерческие предложения на эти банки. Дальше я просто уточнил поиск, добавив "размеры". Вот и всё. Обычное гугл-фу :)
AndrewN
07.12.2018 10:09Так надо именно в кавычках и искать, чтобы гугл искал точное совпадение:
"бнв-100" размеры
unet900
06.12.2018 16:29+1Очень интересное наблюдение. Я тоже ощущаю падения качества поиска в гугле, я уже начал многое искать в яндекс. т.к. не могу найти требуемое.
maxwolf
06.12.2018 22:33Не поможет :( Это всемирный заговор, и *яндекс тоже в нём участвует (о чём помещал подробный отчёт habr.com/company/yandex/blog/336094 )
u-235
06.12.2018 16:33+2Недавно искал даташит на редкую микросхему и поймал себя на мысли, что лет десять назад при подобном поиске в выдаче было гораздо меньше ненужного мне мусора. Думаю, что одна из причин в том, что с тех пор средний пользователь интернета сильно изменился.
tvr
06.12.2018 18:02+2Недавно искал даташит на редкую микросхему и поймал себя на мысли, что лет десять назад при подобном поиске в выдаче было гораздо меньше ненужного мне мусора.
Ну дык и контента было намного меньше.
Eldhenn
06.12.2018 17:58+2Так это не в гугле дело. Это интернет стал таким. Все везде пытаются тебе что-то продать. Или с чем-нибудь «помочь».
sshikov
06.12.2018 21:16Возможно. Но тем не менее — язык запросов был уже однажды упрощен в угоду непонятно кому, и сегодня вы сложный запрос реально составить не можете. А значит наши возможности фильтровать мусор уменьшились.
Причем такая же фигня была проделана похоже и с картами — т.е. налицо явные попытки заменить поиск данными из «каталога». Оплаченного, ясное дело.
algotrader2013
06.12.2018 23:30+1Да, это бесит. Подозреваю, что инженеры гугла оптимизируют статистику попадания в цель, забив болт на аутлаеров.
Рассмотрим простой пример: есть запрос1 (МТС), который интересен 99% людей, и запрос2 (VNC), который интересен 1%, и есть вероятность, пусть это будет 3%, что человек, искавший запрос1, сделал ошибку, и написал его, как запрос2 (забыл сменить раскладку).
Простое правило типа
if(query == 'VNC') {
query = 'МТС'
}
в ядре гугла сразу повышает статистику попадания для запроса VNC с 25% до 75%. Все очевидно.
А в реале перекос может быть и 99.999%/0.001%, и понятно, под что обучатся самообучаемые алгоритмы. Так что да, такая вот диктатура большинства выходит. Хорошо, что есть лайвхаки типа запросов с кавычками, или стоп-слов. Но я не буду удивлен, если завтра и они исчезнут, ведь продакты гугла решат, что поддерживать фичу, которой пользуется меньшинство, ценой усложнения реализации хранилищ и ядра, глупо.yudinetz
07.12.2018 11:21Хорошо, что есть лайвхаки типа запросов с кавычками, или стоп-слов
Это не лайфхаки ни разу. Это описано и в инструкциях, и можно настроить в расширенном поиске.
nmrulin
08.12.2018 00:36К которому доступ сильно усложнили по сравнению со старыми временами — когда нажимаешь кнопку и попадаешь сразу в расширеный поиск.
Mabusius
07.12.2018 12:04Но лишь только захочется странного, отличного от того, что ищет 95% населения…
Так это всегда так было. Лет 8 назад захотел я завести аквариум. Гугло-яндексы показывали только сделанные на коленке сайты визитки с 1-2 статьями про заведение аквариума и все. Огромный русский форум про аквариумы, на котором есть абсолютно все от статей про гуппи, до тропических жаб, нашел только спросив напрямую у когото в комментах.
Прошло несколько лет, решил я занятся настольным Вархаммером. Ситуация повторилась — вся выдача в коленочных магазинах на вордпрессе, а огромный русский форум с тоннами текста по делу удалось найти только спрашивая у людей в комментариях.MTyrz
07.12.2018 12:15+1Когда-то давно была у части форумов мода на noindex, уж не знаю, зачем.
Mabusius
07.12.2018 12:50У маленьких сайтиков может быть, но эти оба форума владельцам явно чтото приносят, потому что рекламы там дофига. Уж наверняка они заинтересованы в том, чтобы гугл к ним народ приводил.
MTyrz
07.12.2018 23:47Я, к сожалению, не очень компетентен в заинтересованности владельцев форумов. Просто помню, что мода такая была, и если форум этой моде следовал, найти его гуглом было не очень реально.
bodqhrohro
07.12.2018 19:35Полагаю, из-за создаваемой поисковыми ботами нагрузки на сервер и не любящих эту самую нагрузку хостеров.
sumanai
07.12.2018 20:21noindex и nofollow на все исходящие ссылки, что на самом деле снижает ТИЦ, а не повышает его, но никому это доказать невозможно.
MTyrz
07.12.2018 23:49Нет, я имел в виду, на страницы самого форума. Они не искались так же, как сейчас вы исходный либрусек гуглом не найдете. Упоминаний сколько угодно, прямой ссылки нет.
APLe
07.12.2018 14:36Это ещё что, 15 лет назад была проблема найти про аквариум, который не группа 'Аквариум'.
402d
06.12.2018 17:08+2Два момента в этом исследование не учтены
1) Геозависимые и геоНЕзависимые запросы
yandex.ru/company/technologies/regions
2) Результаты сравнивались из разных дата центров.
OldGrumbler
06.12.2018 17:17+1Похоже, скоро уважающие себя браузеры (кроме хрома, яндекса и как-там-нынче-зовут-амигу) будут выполнять запросы к поисковикам из «рандомно зашумленных» песочниц… )))
sumanai
07.12.2018 20:22Запросы к чужим поисковикам. Что хром к гуглу, что стринги к яндексу, даже эдж к бингу по-прежнему будут юзать аккаунт.
Sioln
06.12.2018 17:26Думаю, тут больше зависит не от идентификатора пользователя, а от «шарда», который его обслуживает.
algotrader2013
06.12.2018 23:35Не знаю архитектуры гугла, но подозреваю, что если исходить только из вычислительной сложности, то дешевле все же запросы «выравнивать». Вряд ли имеет смысл на каждом шарде пересчитывать запрос заново, когда можно его закешировать хотябы на уровне страны, и отдать за О(1).
Скорее что-то типа А/Б тестов, или генетических алгоритмов, оптимизирующих выдачу.khim
07.12.2018 00:34Вряд ли имеет смысл на каждом шарде пересчитывать запрос заново, когда можно его закешировать хотябы на уровне страны, и отдать за О(1).
О! Отличный вопрос для собеседования. Любому программисту, который подумает над вашей идей несколько минуть должно стать понятно почему она не просто плоха, но катастрофически плоха. То есть: она не просто не принесёт ускорения, но ухудшит результаты.
Подсказка: дать ответ на запрос из одного слова — проще, чем на запрос из 10 слов.
Скорее что-то типа А/Б тестов, или генетических алгоритмов, оптимизирующих выдачу.
Да, это ещё одна причина.
jehy
06.12.2018 17:47+1Безотносительно отпечатка конкретного пользователя — меня как-то позабавило, что в анонимном режиме мне хром подсказывал при поиске запросы, которая делала дочка из этой же сети.
Eldhenn
06.12.2018 18:03Ну он анонимный, да, то есть не привязан к истории использования на этом устройстве. Но никто не обещал отключать аналитику по месту расположения, по подсети, по времени суток…
Хотите полной анонимности — заходите из-под виртуальной машины на удалённый сервер, там запускайте другую виртуалку, подключайтесь к vpn — и вперёд!Goodkat
06.12.2018 20:34Это только в первый раз. А начиная со второго запроса у вас будет свой поисковой пузырь, привязанный уже к серверу VPN и виртуалке.
hdfan2
07.12.2018 06:49«Самое надёжное противозачаточное — надеть три презерватива, промазать зелёнкой, обмотать синей изолентой, и главное, никакого секса!»
zomby
06.12.2018 22:40Так это норма, анонимный режим (теоретически) запрещает сохранять сессионные данные, но позволяет загружать основной профиль. Изоляция односторонняя.
Sergey6661313
06.12.2018 18:16+1Зато «порно с мёдом» оно научилось искать… Видимо всё же кто-то из гугл читает мои комменты на хабре…
CryptoPirate
06.12.2018 18:41+1Делать одинаковые запросы в одно и то же время из одной страны может быть мало для такого эксперимента. Гугл может выдавать разные результаты анонимным пользователям разных ОС, разных Браузеров, разных версий всего этого добра итд итп.
valdemartorch
06.12.2018 19:15-12Гугля — огромадный ональный зонд, хотя что еще ожидать от компашки открыто поддерживающей гомосеков и прочих поехавших.
dfgwer
06.12.2018 20:18+1Интернет в лице крупных ИТ корпораций, решает что мы должны знать. Ну ладно, этим грешат все СМИ и правительства. Но сейчас это выходит на новый уровень, знать про каждого отдельно, накапливать столько статистики, что управляет отдельными людьми, создавая сферу искаженного восприятия для каждого отдельно. Через некоторое время это становится для человека нормальным и он считает что мир именно таков. Усиливая выдачу А, а про Б выдавая только критику(и только тем кто знает про существование Б, для незнающих ничего не выдавать), можно добиться того что мнение Б становится порицаемым.
ser0t0nin
06.12.2018 21:17Дык наверняка Google Chrome пользовались (ещё и отправка анонимных данных наверное включена), очевидно ж там свой сквозной идентификатор. Ещё не надо удивляться похожим артефактам, связанным с ОС Android
vershinin
06.12.2018 21:47А меня бесит реализация рекламы у них. Я вот хотел купить тележку для трактора-газонокосилки. Поискал в Гугл предложения, нашёл самую подходящую и страдая муками выбора, купил. Оказалась хрень, ржаветь начала видимо еще на заводе, но возвращать геморрой — поэтому пользуюсь. Но теперь на любом сайте, где реклама не заблокирована мне предлагают разные прицепы для трактора, каждый раз заставляя вспоминать какую дрянную телегу я купил. Я уж и так и эдак пытался убрать из рекламы такую выдачу, но все равно Гугл считает, что тележку я купил плохую и надо купить получше., Теперь для себя решил что весь выбор товара надо делать как минимум в приватном режиме, т.к. пользы от их контекстной рекламы для себя не увидел ни разу, а раздражает она знатно.
hdfan2
07.12.2018 06:52Гугл считает, что тележку я купил плохую и надо купить получше
Разве он не прав?Sergey6661313
07.12.2018 20:07конечно не прав. потому что мог предложить сразу хорошую, но здесь прям чувствуется финансовый интерес…
funca
07.12.2018 00:33Анонимность и приватность — разные вещи. Инкогнито режим в хроме это условно про то, чтобы ваша жена не увидела сайты, по которым вы ходили вчера ночью. Он совершенно не о том, чтобы Гугл не знал, чем вы интересуетесь.
Вместо инкогнито режима можете запускать браузер с чистым профилем. Тогда это будет больше похоже на правду. Но все равно останется ряд моментов, которые вас помогут выдать. Например, особенный набор файлов на жестком диске со специфическим временем последнего изменения.
Вы можете конечно отключить отправку аналитики, если укажете все нужные настройки около 30 штук. Желательно в момент создания нового профиля. Вот selenium с этим неплохо справляется. Или будете с нуля поднимать виртуалки. А лучше и то и другое вместе. Однако часть функциональности в современных сборках хрома не отключается. Например антивирусная защита под виндой.
wadeg
07.12.2018 01:19Эти люди сначала вводили заранее оговоренные и общие для всех запросы в анонимном режиме, который по идее должен обеспечивать выборку, свободную от влияния внешних факторов типа истории поиска, а после — из под своих учетных записей. Поиск производился всеми добровольцами одновременно (эксперимент проводился 24 июня 2018 года в 21:00), сначала в приватном режиме без логина, а после — из под своих учетных записей.
И все это с того же IP, а не через какую-нибудь тор-прокладку. Исследователям пять за смекалку.vedenin1980
07.12.2018 18:45+1Исследователям пять за смекалку
Так иследователи же поисковика главная фича независимые от профиля поисковые запросы. Все логично сделали.wadeg
07.12.2018 18:53Так иследователи же поисковика главная фича независимые от профиля поисковые запросы
Простите? Не распарсил.
fpinger
07.12.2018 07:56Я давно понял, что гугл мной не интересуется вплане результата для рекламодателя. Он мне даже жалобы на рекламу в gmail интерфейсе запретил (можно по крестику кликнуть, но не пожаловаться по любым причинам), а в ютубе в выдаче благодарит за отказы по предлагаемым видео, принимает объяснения, и тут же возвращает булшит о провальном, попсовые каналы и прочую хрень. При этом я просматриваю специфические IT видео и редка что-то от Далай-ламы и других мастеров. Трафик то Тинькоффа, других кредиторов и Провального нужно сливать.
А ещё в андроиде в играх вечно продаются женские трусы с юлы и попытки как-то повлиять на выдачу бесполезны. Гугл соглашается и через несколько показов подобных игрушек и машин премиум класса (я целевая аудитория?) опять предлагает женское бельё.
Яндекс не лучше. То что в яндекс почте крутит продажу шин не один год (у меня нет машины и ничего такого с моего компа не искалось) и предлагает купить компьютерную мышь, хотя оценки нескольких манипуляторов я искал на маркете год назад и всё давно купил.
Нужно сливать бюджеты. Вот и всё.
michael_vostrikov
07.12.2018 10:14Интересно, стал бы кто-нибудь пользоваться платным поиском без рекламы, с точным синтаксисом типа сфинкса, с дополнительными фильтрами и произвольной сортировкой?
khim
07.12.2018 10:56Alta-Vista? Пользовались пока Гугла не было. В современном вебе вряд ли будет иметь смысл…
achekalin
07.12.2018 11:03Судя по опросу, мое отношение к качеству поиска Я против качества выдачи Гугла (про остальных не говорю) совпадает с мнением аудитории. Очень обидно на эту тему, что, качая Firefox на русском, я автоматом получае себе Я в качестве главного провайдера поиска (у FF я использую оба поля, одно для URL, другое для поиска — так вот если в «поисковом» задать гугл движком, то в «URL-овом» за поиск все равно Я будет отвечать, пока не отучишь (ставил, правда, некоторое время назад, может, сейчас что поменялось, но осадочек...).
Так вот не пойму, зачем такого качества поиск насильственно впихивать (понятно, что бабки, но все же).
И второй вопрос — зачем делать телефоны и прочее, когда даже с поиском поле непаханное для улучшений?
wondersalmon
07.12.2018 19:44Ответ на первый вопрос: «Кто платит тот и заказывает музыку»
Ответ на второй: Это разные подразделения
buzzi888
07.12.2018 11:04+1Как-то поздно спохватились. В 2018 мы уже знаем, что анальные зонды — благо, это защищает нас от педофилотеррористов и нормальному человеку скрывать нечего. И как-то странно обвинять компанию, чей хлеб — реклама и точный таргетинг(а если ты фейсбук, то тупо продажа всего направо и налево)
Поэтому нет значения вышел ты или нет, у гугла куча возможностей продолжать трекать тебя через ту же аналитеку, кнопки, «партнеров»(банки/мобильные операторы/провайдеры торгуют данными и гугл с удовольствием платит), а андройд сдаст все остальное. Имея такую кучу данных, ценнейшую поведенческую инфу и диплернинг, уже можно деанонить с магической точностью.
Поздно. Теперь ты можешь выбрать только логотип на зонде.
daniilprohorov
07.12.2018 11:30Не знаю чего так все переживают. Мне кажется это даже хорошо, что тебе дают то, что ты хочешь видеть, в нашем современном мире информации, социальных сетей, по моему бессмысленно как-то скрываться, да и зачем? Если ты не нарушаешь закон, то это тебе и не надо.
Kosmoss
07.12.2018 11:30Эти поисковики уже достали со своим любопытством. По поисковым запросам можно определить портрет личность человека, что он собой представляет, о чем он думает, что его интересует. Но для полной картины этого мало — нужно еще узнать все личные данные. Поэтому они требуют телефоны, скриншоты паспорта, адреса, место и адрес работы, рабочий телефон… Если они все это соединят, то у них будет полное досье на каждого человека. И они найдут применение этому.
Так же о людях много знают браузеры. Заметьте, что они все почему-то бесплатны. За другие программы надо платить, а браузеры навязывают бесплатно. Значит кто-то платит разработчикам за собранную информацию.
GZK4
07.12.2018 11:30Об этом просто не принято говорить потому что давит «окно овертона», но google вас не просто держит в пузыре. Всё куда страшнее. Большинство пользователей, запрашивая что-либо у гугла вообще не подключаются к его базам, а ищут только в пределах Google Global Cache.
Когда приходит осознание столь очевидной вещи, то становится понятной невозможность найти искомое. Особенно это заметно, если вы используете google dorks.
Я провёл несколько экспериментов в течение длительного времени и могу утверждать, что 9 из 10 пользователей вообще никогда не получают ответов от google. Они работают только с содержимым текущего кэша GGC. От этого и становится заметен «пузырь». Более того есть периоды когда кэш «замораживают». Я рисовал график таких «заморозок» поиска. Он всегда совпадает с громкими политическими событиями и крупными рекламными компаниями.
Google всегда был империей зла, удачно позиционируя себя на рынке — мы же помним, кто первый кричит «держит вора».wataru
07.12.2018 13:449 из 10 пользователей вообще никогда не получают ответов от google. Они работают только с содержимым текущего кэша GGC.
А GGC, откуда информацию, по вашему, берет? Вы вообще, знаете что такое cache в названии Google Global Cache? Зачем он вообще нужен?
Я рисовал график таких «заморозок» поиска. Он всегда совпадает с громкими политическими событиями и крупными рекламными компаниями.
Все абсолютно логично: громкое событие => всплеск популярности у запроса => попадание в кэш.
Вы по любому популярному запросу будете ответ от GGC получать. Он именно для этого и создан — отвечать известными ответами на популярные запросы, чтобы разгрузить датацентры.
sumanai
07.12.2018 20:30а ищут только в пределах Google Global Cache.
Радуйтесь, в России он запрещён.
amarao
07.12.2018 13:11Чисто формально, пока не держит. Альтернативные поисковики никуда не делись. Например, на телефоне, где от меня идёт большинство приватных запросов (медицина, быт и т.д.) идут не к гуглу.
А вот к гуглу идут всякие профессиональные вопросы, типа «kapacitor testing framework» и т.д.
xom9lk
07.12.2018 13:50Из за их алгоритмов перестал пользоваться Google Play Music и почти перестал пользоваться YouTube. Стоит ребенку зайти посмотреть мультик, так вся моя подборка — это мультики.
Похоже скоро перестану пользоваться и поиском, т.к. все чаще не могу найти нужную информацию по рабочим вопросам. DuckDuckGo на некоторых запросах показывает себя лучше, а житейские типа «кошачий корм» — Yandexwataru
07.12.2018 15:12Стоит ребенку зайти посмотреть мультик, так вся моя подборка — это мультики.
Можно открывать ребенку в режиме икогнито или иметь специальный профиль браузера/второй ютуб аккант. Надо только не забыть переключиться перед включением мультиков.
Google Play Music
Там можно 50000 своих песен загрузить и слушать везде без всяких подписок. Я всю свою коллекцию загрузил и горя не знаю.
diseaz
07.12.2018 13:51+1Уникальность результатов и предвзятость — совершенно разные вещи.
В поиске одновременно(!) идёт большое число (сотни) экспериментов (A/B тестирование). Каждый (!) пользователь участвует в нескольких сразу. Набор экспериментов для каждого уникален, с хорошей точностью. Поэтому да, результаты уникальны.
Эксперименты пользователю назначаются случайно, на основе hash(ID), который присваивается даже анонимному пользователю при первом обращении. Но случайное исправление выдачи ? предвзятость.
PretorDH
07.12.2018 15:45+1Купил паяльник.
На следующий день все магазины предлагают мне паяльники.
Где логика. Я уже купил, нафиг мне ещё 1000 паяльников.
P.S. Для «терморектального криптоанализа» достаточно одного, он омногоразовый. Или они должны быть стерильными? И каждому пациенту обязательно нужен свой.: Оisden
08.12.2018 12:10> Где логика. Я уже купил, нафиг мне ещё 1000 паяльников.
Ну так гугл же не знает, что вы уже купили.
У меня есть подозрения, что если следовать до сайта магазина (и покупать онлайн) через выдачу гугл шоппинг, то гугл засчитает покупку.
demimurych
07.12.2018 15:48+1Утверждать что
При таких условиях ожидалось, что все пользователи +\- получат схожую поисковую выдачу, так как запросы производились примерно в одно и тоже время, из одной страны и в определенном порядке.
означает расписаться в том, что ты не понимаешь в принципе как работают современные поисковые алгоритмы.
И речь тут совсем не в том, что Google или любой другой пытается использовать Вашу историю поиска или ваш профайл. А в том, что любой поисковый алгоритм должен понять что лучше. И понять это он может не только на основании оценочных факторов своих алгоритмов, а и на основании того как посетитель прореагирует на тот или иной проект. Сейчас это называют поведенческие факторы. И понять это можно только показав тот или этот проект посетителю. Потому совершенно логично, что выдача все время разная, потому как поисковая машина экспериментирует с выдачей показывая посетителю выдачу с разной степенью релевантности запросу, чтобы уточнить для себя этот запрос.
Предполагать, что выдача всегда для всех и для каждого каждый раз должна быть одинаковой, это остаться в 90тых годах, когда о таком поиске только размышляли.
badman1
07.12.2018 19:45Тут говорили про fingerprint. Ну не знаю, вот погуглил (check browser fingerprint online) какие-нить онлайн сервисы для тестов. Нашел такой.
Yes! (You can be tracked!)
41.86 % of observed browsers are Firefox, as yours.
0.93 % of observed browsers are Firefox 63.0, as yours.
56.56 % of observed browsers run Windows, as yours.
26.45 % of observed browsers run Windows 7, as yours.
3.16 % of observed browsers have set «ru»as their primary language, as yours.
20.25 % of observed browsers have UTC+2 as their timezone, as yours.
However, your full fingerprint is unique among the 907907 collected so far. Want to know why?
чет как-то не тянет на уникальность. Ещё есть какой-то panopticlick.eff.org. Первые 3 теста yes, 4й no, последний «Does your browser protect from fingerprinting?» вообще не выполнился ибо FF + uBlock + Ghostery + Decentraleyes. И да, ещё у меня стоит удаление куков при закрытии браузера.
Так что я склонен считать отпечаток слишком переоценённым. Если не стоят адблокеры, то вас 110% идентифицируют через адкуки, а если они блокированы — слишком мало параметров, за которые можно зацепится. Особенно если dynamic IP.
PS. Ок, нашел ещё некий HTML5 Canvas Fingerprinting. Однако же в комментах там пишут что не такой уж он уникальный, да и CanvasBlocker есть…sumanai
07.12.2018 20:4141.86 % of observed browsers are Firefox, as yours
Очевидно статистика таких сайтов искажена в пользу параноиков. отсюда и преобладающая доля Firefox, который используется в TorBrowser.
athacker
08.12.2018 11:37чет как-то не тянет на уникальность
Почему не тянет?
«However, your full fingerprint is unique among the 907907 collected so far.» — полный профиль вашей системы уникален среди миллиона уже собраных профилей.
funca
08.12.2018 23:41Есть разные способы. Часть из них доступна лишь разработчикам браузеров, часть их партнерам, часть владельцам инфраструктуры. Хром и лиса при установке создают ряд уникальных id, которые регулярно отправляются вместе с данными мониторинга. Есть мутный drm, для поддержки которого браузеры скачивают бинарный код со аффилированных ресурсов. На уровне SSL и TLS есть свой аналог кук, используемый для ускорения процесса создания соединений, но который можно использовать и для других целей. Все для вашего удобства.
badman1
09.12.2018 00:27Интересно. А что за «ряд уникальных id» (фф интересует) и как он может их куда-то «регулярно отправлять вместе с данными мониторинга» если телеметрия отключена? Да и куда, на посещаемый сайт? Про «На уровне SSL и TLS есть свой аналог кук» можно где-то почитать в разрезе именно деанонимизации?
funca
09.12.2018 01:53> если телеметрия отключена
Телеметрия это лишь часть. Рекомендую загнать процесс в sandbox и вдумчиво помониторить сетевую активность. По поводу второго — начните с session id.
whyme
07.12.2018 19:45Куча недовольства гуглом в комментариях, но я не понимаю, зачем пользоваться поисковиком который вас не устраивает?
Если рассматривать поисковую выдачу и избавление от «пузырей», то есть варианты типа duckduckgo. Даже есть всякие startpage.com, которые работают как прокси, выдают точную копию выдачи гугла на поисковые запросы, только без учета таргетирования и слежения. Почему бы не использовать альтернативы?
Kate1313
Привет, Черное Зеркало