What's up guys?
Каждый из вас вероятно сталкивался с проблемой поиска чего-то в интернете, будь то конкретный человек, книга или статья. Я решил разделить эту тему на несколько частей, так как это довольно объёмная тема. Конкретно в этой части мы поговорим о поиске информации, людей или других интересных вещей в интернете, используя обычные поисковые системы. А во второй части - более подробно поговорим про OSINT и соответствующие инструменты. Я предлагаю не задерживаться и сразу переходить к делу!
Итак, я предлагаю начать наш рассказ про поиск информации в интернете с того, какие поисковые системы лучше использовать. На самом деле, для общего круга задач их всего две: Google и DuckDuckGo. Давайте поговорим о каждой:
Самой широко используемой поисковой системой является именно Google. Он удобен и он работает довольно хорошо. Для большинства задач его достаточно. У Google есть удобные инструменты для поиска (об этом мы поговорим далее в этой статье).
Ещё один поисковик, которым мне нравится пользоваться - DuckDuckGo. Давайте рассмотрим инструменты каждого из них подробнее.
Примечание: не зависимо от того, каким поисковым движком вы пользуетесь, все запросы связанные с наукам, IT или бизнес тематиками лучше выполнять на английском, так вы банально получите больше результатов поиска.
Я предлагаю поговорить об операторах поиска в Google.
-something (знак минус) - убирает ключевое слово из результатов поиска.
* (звёздочка) - может заменять любое количество слов.
and ( & ) и or ( | ) - операторы и и или соответственно.
" " (кавычки) - поиск точного соответствия.
( ) (скобки) - для группировки запросов.
$/€ - ищет цены на указанный товар в долларах или евро соответственно.
in - конвертирует числовые единицы (пример: 5 m in ft - переведёт 5 м в футы).
А теперь давайте поговорим именно об операторах поиска, которые могут вам пригодится при поиске конкретной информации на сайте, каких либо книг, файлов, мест и т.п.
site: - позволяет искать страницы только на определенном сайте. Например, "site:example.com" найдет все страницы, находящиеся на сайте example.com.
intitle: - ищет страницы, в заголовках которых содержится заданное слово или фраза. Например, "intitle:python tutorial" найдет все страницы, заголовки которых содержат слова "python" и "tutorial".
inurl: - ищет страницы, в URL которых содержится заданное слово или фраза. Например, "inurl:python tutorial" найдет все страницы, URL которых содержат слова "python" и "tutorial".
filetype: - ищет файлы с заданным типом. Например, "filetype:pdf python tutorial" найдет все файлы PDF, содержащие слова "python" и "tutorial" .
related: - ищет страницы, связанные с заданным сайтом. Например, "related:example.com" найдет все страницы, связанные с сайтом example.com.
link: - ищет страницы, которые содержат ссылки на заданный сайт. Например, "link:example.com" найдет все страницы, содержащие ссылки на сайт example.com.
cache: - показывает последнюю кэшированную версию страницы. Например, "cache:example.com" покажет последнюю кэшированную версию страницы example.com.
define: - ищет определения заданного слова. Например, "define:python" найдет определения слова "python".
info: - показывает информацию о заданном сайте. Например, "info:example.com" покажет информацию о сайте example.com.
movie: - ищет информацию о заданном фильме. Например, "movie:the godfather" найдет информацию о фильме "Крестный отец".
book: - ищет информацию о заданной книге. Например, "book:the catcher in the rye" найдет информацию о книге "Над пропастью во ржи".
map: - показывает карту заданного места. Например, "map:moscow" покажет карту Москвы.
stocks: - показывает информацию о заданной компании на бирже. Например, "stocks:aapl" покажет информацию о компании Apple на бирже.
inanchor: - ищет страницы, которые содержат ссылки с определенным текстом якоря. Например, "inanchor:python tutorial" найдет все страницы, содержащие ссылки с текстом якоря "python tutorial".
В целом Google подходит для всего и наверное является одним из самых популярных поисковиков в мире на данный момент. Я сажу так: я сам лично пользуюсь в основном Гуглом, но можно и лучше. Далее мы поговорим про DuckDuckGo.
DuckDuckGo
Ок, мы поговорили про Google и разобрались с тем, как искать информацию там эффективнее. Теперь давайте погорим про DuckDuckGo и про его преимущества:
"Поисковая система, которая не следит за вами" - это слоган DuckDuckGo. Он действительно более приватный и безопасный чем Google, и в отличие от последнего он не собирает ваши данные.
Он простой. В нём нет рекламы (если точнее, то её можно бесплатно и полностью отключить).
DuckDuckGo использует гибридную систему поиска. Результаты на поисковой запрос DDG формирует из разных источников (среди которых: Yahoo! Search BOSS, Wikipedia, Wolfram Alpha, а также их собственный поисковой бот). Используя DuckDuckGo вы получите немного больше ответов, а если ещё и напишите запрос на английском, то (как я уже и говорил ранее) получите гораздо больше ответов на запрос.
По поводу операторов поиска, они всё те же, что и в Google. Но есть ещё один интересный оператор, который мне понравился. Я говорю про bangs. Этот оператор проводит поиск с использованием поисковой системы указанного сайта (и открывает результаты поиска сразу на целевом сайте). Например, если вы введёте: !habr yarik в строку для запроса в DDG и выполните поиск, произойдёт что то типа этого:
Как видите, DuckDuckGo сразу открыл Хабр и показал результаты поиска так, как если бы я искал просто через сам Хабр.
В вообще, bang'ов очень много, но смысл всегда один: после восклицательного знака пишется название сайта, на котором производится поиск, а потом через пробел - запрос. Список всех сайтов для поиска, и как их указывать в bang вы можете посмотреть на сайте DuckDuckGo в разделе bangs, если я захотел бы перечислить все их здесь, что статья была бы бесконечной, но вот основные:
Другие полезные поисковики
Говоря о поиске информации нельзя не упомянуть самые разнообразные
Google Scholar - специальный поисковик для научных статей и работ.
Wolfram Alpha - поисковик, который предоставляет информацию о фактах, статистике, математических вычислениях и многом другом.
Archive.org - архив "всего" что есть/было в интернете.
TinEye - поисковик изображений.
На этом статья подошла к концу. Если я что-то забыл или где-то ошибся - пишите в комментарии или ЛС.
От автора:
Спасибо, что дочитали статью до конца, надеюсь она была вам полезна и сэкономила вам время. Если хотите повлиять на выход дальнейших статей, то можете подписаться на мой telegram-канал, там в том числе будут опросы касаемо выходов новых статей а так же разнообразные интересные материалы. Если хотите со мной связаться или предложить тему для статьи - мои контакты есть на сайте.
Ещё раз спасибо, что дочитали до сюда!
Удачи!
Комментарии (26)
mentin
08.10.2023 15:37+2Но есть ещё один интересный оператор, который мне понравился. Я говорю про bangs. Этот оператор проводит поиск с использованием поисковой системы указанного сайта (и открывает результаты поиска сразу на целевом сайте).
Это удобный механизм, но зачем им пользоваться через DuckDuckGo, когда он есть прямо в Хроме. Хром может напрямую использовать поисковик сайта, с таким же синтаксисом, вроде
!habr yarik, только в своем собственном URL/Search bar, а не в DuckDuckGo. Надо просто добавить в настройках Site Search с шорткатом!habrи URLhttps://habr.com/ru/search/?q=%s- и делать ровно то же, но без посредников. Многие сайты (которые вы посещали) у вас уже будут в списке Inactive shortcuts, надо только их активировать и выбрать удобное имя.
Fahrain
08.10.2023 15:37+21Как я люблю такие статьи... Половина операторов поиска в гугле не работает уже лет 10. Минус частенько просто игнорируется. Звездочка не работает вообще. Кавычки по какой-то причине учитывают регистр и вам надо в запрос писать все варианты (аналогично и для минуса). У запроса есть ограничение на кол-во слов, соответственно, добавив все варианты в кавычки или с минусом в конец запроса - учитывать их не будет, т.к. отрежет из-за этого лимита.
P.S.: кстати, если кто не пробовал - в Bing "-слово" работает как просто "слово" и минусуемые слова наоборот начинает искать с приоритетом.
MaFrance351
08.10.2023 15:37+2А если учесть, что теперь помимо копирайтерского мусора есть ещё и GPT-мусор, то получается совсем печально...
Я, конечно, понимаю, что часто поиск чего-то редкого в интернете (когда ищешь уже даже по файлообменникам) сравним с хождением по металлоприёмке в поисках редких деталей, но даже в плане чего-то куда более распространённого типа инструкции на какую-то конкретную штуку сейчас этот самый поиск стал очень плох.
cyber_roach
08.10.2023 15:37+11Автор, сам - то пробовал эти операторы в поиске? в 2003м это может и работало, а сейчас на все кавычки, плюсы, минусы и пр, гугл ложит свой большой гугол. site, кстати, еще работает.
Markscheider
08.10.2023 15:37site, кстати, еще работает
Это, кстати, единственный модификатор, которым я почти повседневно пользуюсь. Остальные буду пробовать.
Arkasha
08.10.2023 15:37Минус ещё работает, в т.ч. -site (мусор есть в рекламных вставках, которые режутся uBlock и uBlacklist)
40kTons
08.10.2023 15:37Постоянно использую duckduckgo. Причина - лень. У меня в браузере такие настройки безопасности, что не сохраняются ни куки, ни посещённые сайты. Закладок я так же не делаю. Поэтому я каждый раз ввожу адрес в строке. И вводить сокращённый ddg.gg (а ещё dgg.gg, прикольно сделали - если опечатался, то тоже попадёшь куда надо) быстрее, чем сокращённый goog.le
gazkom
08.10.2023 15:37Доменной зоны .le нет.
40kTons
08.10.2023 15:37+1Я не говорил, что доменная зона .le есть. Я говорил, что если я введу в браузере строку, то попаду в гугл поиск. Как это реализовано - доменная зона с адресом переадресации или браузер сопоставляет строку с адресом и сам подменяет строку нужным адресом - дело десятое
selivanov_pavel
08.10.2023 15:37+1Написали бы хотя бы, что ddg тоже умеет всякий синтаксис поисковых запросов: https://duckduckgo.com/duckduckgo-help-pages/results/syntax/
"cats and dogs"~"cats and dogs"cats filetype:pdfdogs site:example.comcats -site:example.comintitle:dogsinurl:cats
Neusser
08.10.2023 15:37+1Давайте поговорим, я предлагаю, а теперь давайте поговорим, мы поговорили, а теперь я предлагаю давайте поговорим. И два предложения подряд начинаются словами "Я предлагаю". Автор. нельзя так писать, невозможно же читать.
Zara6502
08.10.2023 15:37перестал пользоваться командами в поисковой строке году в 2004
перестал пользоваться гуглом году в 2015 так как ищу в основном на русском и в рунете, в принципе искать что-то в явном виде не ищу уже давно, выделяю интересное и жму найти, по умолчанию стоит яндекс. если нужно что-то очень техническое и на английском, то тогда гугл, это наверное 1% запросов (даже когда ищу например ASM 6502, то яндекс всё прекрасно находит, а еще есть режим чтения и перевод).
Hlad
08.10.2023 15:37+3Яндекс чересчур прожорлив в плане слежки за пользователями. Стоит отключить всякие трекеры, которые он подсовывает - и пользоваться яндексом становится невозможно в принципе: "а вы не бот? А точно не бот? А вот вам пачка капч со светофорами...". Только из-за этого свалил на гугл.
Zara6502
08.10.2023 15:37не замечал такого
MaFrance351
08.10.2023 15:37+2Достаточно зайти в режиме инкогнито, у меня такое случается практически с первого раза.
igrishaev
08.10.2023 15:37+2Недавно гугл открыто признал, что выражение "в кавычках" все равно приводится к тому виду, что удобно поисковой системе. Ссылку же не вспомню.
domix32
08.10.2023 15:37Я предлагаю поговорить об операторах поиска в Google.
Проблема в том что с маркетинговой точки зрения найти то что вам надо часто бывает не выгодно, поэтому операторы будут работать довольно нестабильно.
Вторая проблема - переобучение того робота, что отвечает за ваши рекомендации - в какой-то момент поиск начинает заметно деградировать из-за него и находить необходимую информацию становится заметно сложнее. DDG в этом смысле неуязвим, поэтому результаты могут оказываться заметно полезнее. А учитывая его "хакерность" программисту искать иногда становится заметно проще.
Samodelkin333
08.10.2023 15:37Про DuckDuckGo и вообще интересно, не знал столько. Гугл порядком иногда выдаёт кучи рекламы и порядком политизирован, не идеал в общем. DuckDuckGo я использовал для поиска того что не должно остаться в истории поиска, мне хватало в общем. Вне политики Yahoo если очень приспичило, связи с властями РФ нет,0э́ по-русски это поисковик понимает получше как мне показалось. Опять же привожу только мой опыт.
MaFrance351
08.10.2023 15:37+1Yahoo — он тот самый неуловимый Джо, который пока что никому не нужен. Оттого там редко встречается всякая дрянь типа "В ответ на официальный запрос мы удалили...". Иногда в том, что из выдачи гугла снесено, может найтись что-то ценное.
MaFrance351
Ну не знаю, не знаю… Последнее время (особенно когда ищешь, например, компьютерное железо по модели) выдача сильно затуманена всякими торговыми предложениями, тогда как раньше выдавал документацию, обсуждения и всякое такое. Yahoo тот же ищет сильно лучше.
Rampages
Мне кажется тут уже не совсем вина Google, ведь все онлайн магазины платят много денег для поисковой оптимизации, в отличие от производителя железа, поэтому лучше писать не просто "HPE DL380 gen11", а "HPE DL380 gen11 quickspecs", иногда добавляя pdf или manual, guide, tech sheet и прочие ключевые слова для поиска информации.
Конечно по идее у сайта производителя должна быть более высокая цитируемость в интернете, но возможно это какая-нибудь персонифицированная выдача, то есть недавно покупали желези или искали сайте где надо купить, теперь их приоритет в лично вашей выдаче повышен.
Тот же какой-то из поисковиков сильно испугал моего коллегу, когда начал выдавать рекламу серверов у него на его мобильном телефоне, ведь на нем вообще другие профили и переписок никаких не вел со словом "сервер" и в поиске не искал... но в помещении где лежал телефон неоднократно обсуждалась покупка сервера вслух.
geher
Раньше эти пляски с бубном (корректировка поискового запроса добавлением уточнений) как-то помогали. Теперь почти никак. И на персонифицированную выдачу не спишешь. Показывает магазины независимо от истории поиска. И со временем картина все хуже что у гугла, что у яндекса (у последнего пока немного лучше). Может мне просто не повезло попасть в какую-то тестовую группу, на которой новые кривые алгоритмы обкатывают, но ситуация с поиском все печальнее и печальнее. Выручает только знание конкретных сайтов, на которых надо искать. Причем внутренний поиск сайта, если он есть, как правило работает лучше гугловского с ограничением по сайту.
Rampages
Так поисковые web crawlers мне кажется сейчас хуже парсят сайты, либо стоят какие-то запреты в robots.txt и они их не парсят... И страницы теперь всякие SPA с динамической генерацией контента в определенных блоках, такое для SEO вообще по идее плохо, но если сайт не припаривается с отдельной картой сайта для поисковой оптимизации, то да там обычно только через внутренний поиска сайта что-то можно найти, а через внешние не факт.
Еще все эти поисковики и другие сервисы сейчас бояться кого-то обидеть или выдать,то что лучше никому не видеть, поэтому всякие NSFW запросы, или запросы нарушиющие чьи-то копирайты тоже трутся автоматом, потом еще приходят юристы и SJW-активисты, которые еще вручную пишут жалобы и удаляют еще часть выдачи.
По поводу персонифицированной выдачи, я стал с ней бороться делая новые поисковые запросы из под других учетных записей или в другой записи в инкогнито с другого браузера и порой очень сильно выдача отличается. Но опять же поисковики могут по другим признакам (паттернам) определить что я это я даже в другом браузере и не залогинившийся, сопоставить данные и опять выдать тоже самое, пока кажется они таким не занимаются, может не хватает мощности или никто не готов за это платить денег им... но все к этому идет...