Сегодня невозможно представить интернет без поисковиков. Нужна информация? Указываем необходимое ключевое слово или слова в Яндексе (Google) — получаем ответ.

Но в начале 90-х система только развивалась. И об основных поисковых машинах, их создателях и конкуренции между ними — поговорим далее.

Первый поисковик — Archie

Официально первым поисковиком называют программу Archie, созданную студентами Монреальского университета Макгилла Аланом Эмтейджем, Питером Дойчем и Биллом Хилланом. Проект, чье название происходит от слова «архив», но без буквы «v», был достаточно простым: он банально скачивал списки файлов с FTP-серверов, выстраивая базу данных, на основе которой как раз и производился поиск. Индексировать содержимое файлов Archie не могла. Программа, кстати, при наличии таких проблем была коммерческой и даже поддерживалась до 1996 года. 

Archie спровоцировал создание целой плеяды схожих по алгоритму поисковиков. В 1991 году создаются Veronica и Jughead. Дело в том, что студент Миннесотского университета Марк Маккэхилл придумал и реализовал новый сетевой протокол Gopher, работающий в формате «иерархического текстового меню». Поисковик Veronica, основываясь на этом проекте, искал заголовки в списке по ключевым словам, а Jughead занимался анализом информации по серверу.

1993 год: W3catalog, Wandex, Aliweb

В 1993 году создается сразу несколько крупных поисковых систем:

• Во-первых, представлен метапоисковик W3catalog (как указывают программисты, он был в формате сценариев на Perl);

• Во-вторых, презентуется Wandex (эта программа могла индексировать заголовки сайтов, аннотации страниц, а потом предъявлять результаты поиска по запросу). Ранжирования и анализа полученных сведений поисковик не делал;

• В-третьих, создается Aliweb. Главная особенность проекта: для индексации сайта — разработчики должны были добавить страницы своего портала внутрь поисковика.

1994 год: Excite, WebCrawler и Yahoo

Excite был создан студентами Стэнфордского университета. На первых порах программа занималась статистическим анализом слов в тексте, тем самым упрощая максимально поиск в сети. Потом — проект расширился, став экосистемой (в нее входил поисковик, почта, мессенджер, а также информационные ресурсы).

WebCrawler (название происходит от слова «crawler» — то есть ползающее, гусеница, обходчик) — первая в истории полнотекстовая поисковая система. Студент Вашингтонского университета Брайан Пинкертон запрограммировал ее так, чтобы поиск шел по всей веб-странице. Проект был крайне успешным. Уже 14 ноября 1994 года поисковик обработал свой миллионный запрос (который звучал примерно так: «Разработка и исследование ядерного оружия»). В декабре — у поисковика появились спонсоры, а через год — и реклама.

Yahoo был создан аспирантами Стэнфордского университета Дэвидом Фило и Джерри Янгом. Причем в первоначальном формате — целью проекта, который назывался «Путеводитель Джерри по Всемирной паутине», была каталогизация других сайтов. Расширение списка включенных ссылок (как, впрочем, и аудитории) — дало возможность разработчикам быстро переименовать проект в более запоминающийся и краткий — Yahoo! (некоторые переводят это слово так — «Yet Another Hierarchical Officious Oracle», то есть «Еще один дружеский путеводитель»).

Постепенно стартап, привлекая инвесторов, стал выходить за пределы привычного: из каталога он трансформировался в информационный сайт. Однако проиграл гонку преследования с Google. В 2000-х проблемы Yahoo!, ставшего полноценным поисковиком, увеличились (на финансирование повлиял и крах доткомов, и непросчитанный запуск многочисленных проектов, которые не стали экономически успешными).

Дальше — больше: Altavista, Апорт, Rambler, Yandex и Google

Altavista была представлена всем в 1995 году. Считалась одной из самых совершенных, так как функционировала на сервере DEC Alpha, принимая запросы на «естественном языке». 

В 1996 году в Рунете стартовал первый в России поисковик — Апорт. Сначала он работал только на сайте russia.agama.com, но с конца 1997 года — проект расширился на всю зону .ru. Как и зарубежные программы, успешность задумки провоцировала создание дополнительных ответвлений: на пике популярности пользователи могли читать на сайте новости, узнавать прогноз погоды и ближайшие телепередачи, смотреть курсы валют.

В том же 1996 году запускается еще один интересный проект — Rambler. Поисковик к моменту своего появления обладал внушительной базой оцениваемых документов (около 100 тысяч). 

В 1997 году российские программисты Аркадий Волож и Илья Сегалович представили свой поисковик — Yandex. Темп набирали постепенно, но успех был оглушительным: система (после модернизаций) могла искать лучше Rambler по ссылкам, создатели предусмотрели оценку взвешенного индекса цитирования, а также произвели грамотную монетизацию в начале 2000-х.

В 1998 году появился Google. Его основное конкурентное преимущество на тот период времени – возможность ранжировать сайты, базируясь на идее оценки ссылок. 

Эта концепция Сергея Брина и Ларри Пейджа стала выигрышной: поиск в Google оказался эффективнее остальных проектов.

Почему одни поисковики — выживали, а другие — умирали?

Все просто.

1. Базовые технологические возможности. Люди пользуются тем, что удобнее, быстрее, качественнее и прагматичнее. Если поисковик предоставляет лучшие результаты, то к нему будут обращаться. То, что не удовлетворяет этим показателям (или то, что не может быстро модернизироваться под обновление) — умирает.

2. Как мы видим, создатели поисковиков чаще всего допускали одну ошибку: они начинали постепенное расширение и попытку охвата всего вокруг (то есть параллельно с поисковой машиной — запускалась электронная почта, система обмена мгновенными сообщениями, информационная служба и так далее). Все это требовалось поддерживать на должном уровне, привлекая дополнительное финансирование. Соответственно, внимание на инновации (и улучшение центрального сегмента, который приносил доход, — поисковика) — сокращалось. Конкуренты успевали сделать лучше, больше и качественнее. Пользователи тут же мигрировали к ним. Охват базисного (якорного) проекта снижался. Соответственно, сокращались и финансовые поступления. Возможностей тянуть все и сразу не было. Поэтому либо концепцию пересматривали (и сворачивали нерентабельное), либо продавали. 

3. Выжившие поисковики предлагали всегда чуточку больше, чем иные конкуренты.

   Кроме того, они не торопились завоевывать дополнительное пространство, расширяясь без меры: например, в том же Яндексе почта появилась только через 2,5 года после запуска основного сайта, у Google — для широкой публики через 9 лет (!).

4. Победившие в схватке поисковики всегда ориентировались на закрепление своей интеллектуальной собственности: будь то товарные знаки или патенты. Каждый свой инновационный шаг они фиксировали в соответствующих госорганах.