Драматичная и эмоциональная история в картинках о том, как наше небо упало на землю, и о том, как мы это пережили и стали немного лучше понимать, каким SEO мы хотим заниматься.

За последние 5 лет SEO кардинально изменилось. Многие сохраняют хорошую мину, но как ни крути, в отрасли депрессия, и она сохраняется по сей день.

Что заставило нашу беспокойную, но любимую отрасль меняться? Давайте разбираться.

Я слышал, что ты любишь рекламу? Мы установили тебе рекламу в рекламу, чтобы ты смотрел рекламу, пока смотришь рекламу.

Реклама была справа от органики, в специальном блоке, потом её разместили над органикой

Чуть позже рекламы стало прибавляться. Здесь все логично, поисковые системы научились зарабатывать с контекстной рекламы и начали качать деньги столько, сколько могли. Я тут написал очевидную вещь, просто хотел, чтобы абзац красиво разделил блоки с картинками.

Больше островов! Маркет, Карты, Картинки

Это изменение меня как пользователя, устраивает. Это удобно, учитывая, что алгоритм может угадывать, по какому запросу какой остров показать, например, я часто пользуюсь островом с картинками и Маркетом. Но с точки зрения сеошника, острова отодвигают органику ниже по странице и в результате сокращают объем трафика на органику.

Мимикрия и кофе

Кто-то очень умный, как Илон Маск, но злой, как Бин Ладен, в Яндексе или Гугле, однажды понял, что доверие к рекламным объявлениям — ниже чем к органике, люди намного охотнее кликают в естественную выдачу, а рекламу не замечают. Странные эти люди. Было решено сблизить внешний вид объявлений. В течение двух-трех лет на обеих ПС происходили небольшие косметические изменения. Постепенно рекламные объявления стали настолько трудно отличимы от органических, что затраты внимания на распознавание рекламы перевесили ценность от этого распознавания. Органика и реклама сравнялись по кликабельности. Люди перестали пытаться их различать. Хорошо это или плохо для ПС? Мне кажется, что это ухудшило качество поиска.

Чтобы проиллюстрировать, предлагаю представить такую историю: вы каждое утро по дороге на работу заглядываете в один и тот-же ларек у метро и покупаете там стаканчик кофе. И вот однажды вы, как обычно, оплачиваете свой горячий ароматный утренний кофе, тот, который вам так нравится, и вдруг видите, что продавец подсыпает в ваш уже готовый напиток — ложку растворимого. Вы такой: "WTF?!?", а продавец говорит: "Понимаете, растворимый кофе нам выгодно продавать, но его как-то неохотно кликают. Вот мы и решили, что будем просто смешивать его с натуральным".

Самое смешное, что у метро только два ларька, и второй ларек точно также стал добавлять растворимый кофе в заварной. Так что пришлось вам привыкать к вот такому вот кофе.

Иллюстрация к мимикрии:

Итак, как было «давно-давно» и как стало

Результатом всех этих изменений стало то, что органический трафик существенно снизился, даже первые позиции в выдаче стали получать в разы меньше кликов.

Так это выглядит на экране:

Еще пара примеров, как было:

Доставка пиццы из Москвы в Новосибирск

Региональное разделение в Яндексе для коммерческой выдачи — это, пожалуй, второй, по тяжести последствий, фактор, повлиявший на сокращение органического трафика. Но с точки зрения пользователя, конечно, это полезное изменение, не хочется заказывать пиццу с доставкой из Москвы в Новосибирск, холодную привезут.

Многорукий бандит и непрошенные соседи по серпу

Яндекс топил за поведенческие факторы: по поведению людей мы узнаем какая страница достойна высоко ранжироваться, а какая недостойна. Посыл понятен, и естественный тупик тоже понятен — если оставить пользователям решать, какие страницы нравятся, то пользователи всегда будут тыкать в один и тот-же Топ10. А остальные будут курить, несмотря ни на какие усилия, и тогда выдача застынет и не будет меняться, как Top Rated Movies IMDB. Чтобы такого не произошло, Яндекс ввел рандомизацию, другими словами, перемешивает выдачу, чтобы дать возможность аутсайдерам побороться с лидерами.

Назвали это "Многоруким бандитом", в честь одноименной математической задачи.

Интересующиеся могут найти в сети научную статью сотрудников Яндекса по этому вопросу: "Gathering Additional Feedback on Search Results by Multi-Armed Bandits with Respect to Production Ranking".

Для сеошников это означало, что все запросы начали скакать по позициям, их то подбрасывало, то выносило на вторую-третью-четвертую страницы. Это также повлияло на объем органического трафика с маркерных запросов, так как Топ10 теперь превратился, условно, в Топ13 или Топ15. Короче, лидерам пришлось делиться трафиком с большим количеством аутсайдеров, чтобы Яндекс мог собрать по ним статистику поведения.

Тут-же можно упомянуть, что Яндекс ввел в практику подмешивать к коммерческой выдаче что-нибудь постороннее, например, одну новость или wiki-статью. Тоже минус одна позиция в топе.

И еще одну позицию забрал быстробот.

15.05.15 Рубильник Судьбы

Не знаю, почему Рубильник и почему Судьбы, просто как-то так представляется, и Имперский Марш на фоне.

Руководитель поисковых сервисов Яндекса Александр Садовский встал утром 15-го мая 2015 года, закатал рукава, сплюнул в ладони и повернул рубильник ссылочного ранжирования по всей стране в положение «ВЫКЛ».

За 5 месяцев 2015 года, начиная с апреля, объем арендованных ссылок снизился на 90%. Сеошники потеряли самый важный инструмент влияния на коммерческую выдачу.

SEO 2015-2017 г. Тотальные разрушения, паника и растерянность среди мирного населения сеошников. Время проснуться

Итак, эти все изменения произошли примерно за 3-4 года. Эффект от изменений был мощный: органический трафик сокращался несмотря на хорошие позиции, вообще перестал коррелировать с позициями по маркерным запросам, а наше SEO на тот момент крутилось именно вокруг маркерных запросов. Ситуация была тяжелая, ретроспективно хочется перечислить некоторые особенности того периода:

• Сеошники потеряли ориентиры. Кто-то вливал деньги в дорогие ссылки, кто-то старался добирать трафик сайтами-сателлитами, те, кому повезло — улучшали сайты и не сильно заморачивались про позиции.
• SEO команды стали смещаться в другие сферы. Умные команды стали смещаться в контекст и маркетинг, работящие — в техничку и дизайн, очень умные, работящие и везучие стали продуктовыми командами.
• Соседние к SEO индустрии: контекстная реклама, таргет и аналитика — расцвели буйным цветом. В них щедро заливались деньги, внимание людей, сюда пришли сильные заряженные команды и создали мощные продукты. На этом фоне индустрия SEO явно проигрывала.
• Репутация SEO как услуги начала постепенно снижаться, хоть и с большим запозданием. У нашего рынка большая инерция, в конце 2016 года все самое страшное уже случилось, а большинство клиентов только начали испытывать смутные сомнения.
• Мифы, тем временем, продолжали жить, предания о том времени, когда трава была зеленее, деревья выше, и сеошники не чета нынешним. И как будто ничего не произошло, абонентка продолжала платиться, надежды продолжали теплиться, ссылки продолжали закупаться (шучу, ссылки работают, а мб и нет, мы не закупаем).
• Из-за этого хаоса и неразберихи, на рынке начали появляться странные девиации. К примеру, как вам: "продвижение сайтов нейронной сетью" (имеется в виду не матрикснет, а нейронная сеть на стороне сеошников sic!). Или вот такое: "Top3 за две недели, или вы не платите ничего, авторская методика". Вот, тоже забавно: "модуль CMS для автоматического продвижения", все верно, зачем платить сеошнику? Купи модуль он тебя продвинет и отбивайся от шквала лидов. И прочие подобные кошмары. Нормальная услуга начала превращаться в цирк, как сюда еще шаманы, экзорцисты и астрологи не набежали? Или, вот, тоже очень нравится: "банковская гарантия возврата вложений в SEO", дайте два.
• Причем, надо понимать, что доходы у сеошников в период 2015-2017 годов еще не начали снижаться. Денег меньше не стало, клиентов тоже. Но будущего уже не было. Этот поезд дальше не поедет, пожалуйста, покиньте вагоны.

Что в этой ситуации делать, не очень понятно. Но было ясно, что надо что-то менять. По Люму могу сказать, в наших головах была каша, но это было интересное время. Мы много обсуждали, спорили, строили гипотезы и пробовали претворять их в жизнь.

В какой-то момент мы решили все начать с нуля. Рассуждали так: мы должны просто делать то, в чем мы железобетонно уверены, и делать это в больших объемах, собирать трафик по крошкам, но в большом количестве кластеров. В одну субботу мы собрались, выписали на стикерах максимально все что может влиять на ранжирование, на результативность. Стали складывать из этих стикеров разные комбинации, в итоге выкинули почти все, оставив только то, что работает на 100% предсказуемо. И так потихоньку пазл начал складываться в новую технологию, которая сейчас, уже можно сказать два года, является нашей реальностью.

Как-то все гладко тут получается, на самом деле, это не было каким-то озарением, мы еще примерно год сомневались в том, что делаем.

К тому-же был громко анонсирован алгоритм Королёв, который по описанию поставил бы крест на нашей стратегии. Но отступать было некуда, сидеть в старом формате услуги было то же самое, что прятать голову в песок, увидев нападающего льва. И мы перестроились.

Как мы раньше продвигали сайты

1. Фокусировались на нескольких маркерных запросах
2. Выбирали 10-20 посадок, их и продвигали
3. Закупали ссылки по запросам
4. Много шаманили с title/h1/ссылками/анкорами/перелинковкой
5. 90% производственного времени занимались анализом
6. 10% времени занимались внесением изменений на сайт
7. Игнорили интент запросов (т.к. посадок было мало)
8. Самое главное – мы игнорили неохваченный спрос, потому что не знали о его существовании, вернее знали, но не знали, как его весь покрыть посадками. А главное – «зачем», ведь мы отвечали только за согласованное с клиентом СЯ

Как мы сейчас продвигаем сайты

1. Тщательно, кропотливо изучаем поисковый спрос
2. 80% производственного времени занимаемся внесением изменений на сайт
3. Не покупаем ссылки
4. Создаем много посадок (отдельная посадка под каждый кластер)
5. Определяем и берем во внимание интент кластера
6. Анализом занимаемся от силы 10% времени

Хеппи энд

Сейчас мы перевели почти все проекты на новый формат. Это было непросто, потому что и нам, и нашим клиентам тоже пришлось кардинально пересмотреть свой взгляд на сайт и на SEO, это потребовало много встреч и обсуждений.

Стало ли нам легче работать? Нет. Работы стало так много, что раньше мы даже не знали, что сможем с таким объемом справляться. Это просто объяснить, раньше мы контролировали и считали своей зоной ответственности крохотное СЯ и штук 5 посадок по сайту, а сейчас нам приходится контролировать огромное количество посадок и поисковых кластеров.

Зато появилось будущее. Мы по каждому проекту видим, что можем много вещей улучшить, и это принесет реальную пользу.

Дисклеймер

Надо сказать, что продвижение по широкому СЯ — это никакое не наше изобретение. Об этом много говорилось на конференциях и в интернетах. Не знаю, кто первый предложил именно так работать с семантикой. Кажется, Тимофей Квачев всегда был последовательным сторонником-евангелистом работы с широким СЯ. Как бы там ни было, это не наше know-how. Все что мы сделали — собрали из разрозненных кусочков пазла свое собственное видение услуги, которое подходит нам.

Эта статья — субъективна, так мы видели этот период изнутри Люма. Небо, которое упало, – лично наше небо. Было ли так по всему рынку SEO? Навряд ли, скорее всего, у всех было по-своему. Выводы делайте на свое усмотрение.