Это история о том, как я случайно обнаружил масштабную аферу с поисковой оптимизацией.
Некоторые высокорейтинговые онлайн-инструменты для редактирования или «очистки» HTML, похоже, тайно вставляют ссылки в свои выходные данные, чтобы протолкнуть себя и связанные с ними сайты в рейтинге поисковых систем. Эта афера очень успешна и, похоже, до сих пор оставалась незамеченной.
Инструменты, которые, кажется, делают это, созданы одними и теми же людьми:
Жертвами этого стали сайты BoingBoing, официальная футбольная ассоциация Германии и Kaspersky. Забавно, что «хакнутая» статья Касперского посвящена «защите от хакеров».
Итак, вот подробный отчет о том, как я сделал это открытие, вместе с доказательствами, которые я обнаружил.
Все началось с загадки продукта, который я создаю. Продукт представляет собой онлайн-табло, и, несмотря на наличие (что я думаю) надежной стратегии SEO, мне не удалось завоевать желанное первое место на странице результатов поисковой системы. Последние 12 месяцев меня всегда опережал участник под названием «Scorecounter».
Теперь, в связи с особенностями моего продукта, люди делятся ссылками на него и встраивают его на свои веб-сайты, а это означает, что со временем я накапливаю много входящих ссылок. Со временем мой рейтинг SEO станет непревзойденным. У конкурента нет такой заметной виральности, как у меня, но он у меня всегда лучше, чем у SEO. Какой трюк они используют?
Итак, вчера вечером я выпил 2 стакана красного вина и вместо того, чтобы удалять производственную базу данных (как в прошлый раз), я решил разобраться в ней. Я заплатил за подписку Ahrefs и взглянул на «профиль обратных ссылок» Scorecounter. Вот что я нашел:
Scorecounter имеет 3600 входящих ссылок, которые он накопил за очень короткое время. Впечатляющие!
Затем я начал просматривать страницы, содержащие ссылки, и именно здесь у меня возникли подозрения.
Например, я видел сообщение в блоге Немецкой футбольной ассоциации, содержащее ссылку на Scorecounter. Слово, на которое была сделана ссылка, было «оценка» (score), но наличие ссылки здесь не имело абсолютно никакого смысла в контексте статьи. Что происходило?
Вот еще несколько примеров ссылок, которые я нашел на случайных доменах (вам нужно искать на странице «оценка»).
Таких страниц там просто куча (посмотрите сами, если у вас есть учетная запись Ahrefs).
Поэтому я написал несколько электронных писем на 1-2 из этих сайтов и спросил их, почему на их страницах есть эти ссылки. Все ли эти сайты продавали ссылки?
Я получил следующий ответ от новостного онлайн-портала:
Ага! Вот в чем был секрет: создатели Scorecounter также сделали онлайн-редактор HTML, который вставляет ссылки по определенным ключевым словам. Прелесть этой аферы в том, что, внедрив ссылки в свой собственный редактор HTML, они создали замечательный цикл положительной обратной связи: чем выше он поднимается в рейтинге поиска, тем больше людей используют его и тем больше секретных ссылок они могут ввести.
Теперь, если вы чувствуете себя очень великодушным, вы можете возразить, что редактор — это инструмент freemium, а добавленные ссылки — это то, как вы платите за бесплатную версию. Что ж, я не чувствую себя великодушным, подозреваю, что и Google тоже.
Помимо улучшения самого HTML-редактора и Scorecounter, я нашел третий продукт, который пользовался всеобщим вниманием:
Ruwix.com создан теми же людьми и посвящен знаменитой головоломке. Опять же, очень легко найти большое количество обратных ссылок на Ruwix.com на случайных сайтах с помощью Ahrefs.com. Каждая из этих статей представляет собой несоответствие в тексте, в который они втиснуты, что показывает мне, что авторы этих статей понятия не имели, что происходит. Взгляните (на странице нужно искать «Rubiks»):
UPD: Касперский удалил ссылку, но у меня есть скриншот:
Чтобы узнать, насколько распространена эта инъекция, попробуйте поискать в Google: «Learn how to solve a Rubix Cube with the beginner method». Более 600 посещений на самых разных сайтах. Удивительно, но ссылка даже пробралась в исследовательскую статью (она находится на странице 24, внизу раздела «Ссылки»)!
Покопавшись в обратных ссылках, я обнаружил, что существует целая сеть инструментов, которые являются частью одной операции. У всех одинаковые профили обратных ссылок. Они включают:
Выполнение поиска в Google по запросу «HTML Editor» показывает, что эти инструменты занимают три верхних позиции в результатах поиска. Это демонстрирует, насколько успешной была эта афера.
Это правда, что «условия использования» по крайней мере одного инструмента содержат следующее:
Я искренне сомневаюсь, что этого отказа от ответственности достаточно, чтобы предотвратить кару от Google. Скоро мы это выясним.
Резюме
Некоторые высокорейтинговые онлайн-инструменты для редактирования или «очистки» HTML, похоже, тайно вставляют ссылки в свои выходные данные, чтобы протолкнуть себя и связанные с ними сайты в рейтинге поисковых систем. Эта афера очень успешна и, похоже, до сих пор оставалась незамеченной.
Инструменты, которые, кажется, делают это, созданы одними и теми же людьми:
- html-cleaner.com
- html-online.com/editor/
- html5-editor.net
- htmlg.com
- … и другие
Жертвами этого стали сайты BoingBoing, официальная футбольная ассоциация Германии и Kaspersky. Забавно, что «хакнутая» статья Касперского посвящена «защите от хакеров».
Обнаружение подозрительного
Итак, вот подробный отчет о том, как я сделал это открытие, вместе с доказательствами, которые я обнаружил.
Все началось с загадки продукта, который я создаю. Продукт представляет собой онлайн-табло, и, несмотря на наличие (что я думаю) надежной стратегии SEO, мне не удалось завоевать желанное первое место на странице результатов поисковой системы. Последние 12 месяцев меня всегда опережал участник под названием «Scorecounter».
Теперь, в связи с особенностями моего продукта, люди делятся ссылками на него и встраивают его на свои веб-сайты, а это означает, что со временем я накапливаю много входящих ссылок. Со временем мой рейтинг SEO станет непревзойденным. У конкурента нет такой заметной виральности, как у меня, но он у меня всегда лучше, чем у SEO. Какой трюк они используют?
Итак, вчера вечером я выпил 2 стакана красного вина и вместо того, чтобы удалять производственную базу данных (как в прошлый раз), я решил разобраться в ней. Я заплатил за подписку Ahrefs и взглянул на «профиль обратных ссылок» Scorecounter. Вот что я нашел:
Scorecounter имеет 3600 входящих ссылок, которые он накопил за очень короткое время. Впечатляющие!
Затем я начал просматривать страницы, содержащие ссылки, и именно здесь у меня возникли подозрения.
Например, я видел сообщение в блоге Немецкой футбольной ассоциации, содержащее ссылку на Scorecounter. Слово, на которое была сделана ссылка, было «оценка» (score), но наличие ссылки здесь не имело абсолютно никакого смысла в контексте статьи. Что происходило?
Вот еще несколько примеров ссылок, которые я нашел на случайных доменах (вам нужно искать на странице «оценка»).
Таких страниц там просто куча (посмотрите сами, если у вас есть учетная запись Ahrefs).
Поэтому я написал несколько электронных писем на 1-2 из этих сайтов и спросил их, почему на их страницах есть эти ссылки. Все ли эти сайты продавали ссылки?
Я получил следующий ответ от новостного онлайн-портала:
Спасибо, что обратились к нам. Нет, мы не продаем ссылки ни за какие деньги.
На самом деле я использовал очиститель HTML (html-online.com/editor/) с прошлого года, который в первые месяцы работал нормально, как и предполагалось, но несколько недель назад я понял, что инструмент внезапно начал тайно вводить ссылки в содержание HTML документа.
Для нескольких публикаций я не смог обнаружить подобное, но когда я узнал об этом, все сообщения, которые я мог вспомнить, были очищены вручную. Оказывается, к сожалению, некоторые из них, как вы отметили, все еще там. Я сегодня просто найду-и-заменю эту ссылку из всей базы данных для большей безопасности.
Бинго
Ага! Вот в чем был секрет: создатели Scorecounter также сделали онлайн-редактор HTML, который вставляет ссылки по определенным ключевым словам. Прелесть этой аферы в том, что, внедрив ссылки в свой собственный редактор HTML, они создали замечательный цикл положительной обратной связи: чем выше он поднимается в рейтинге поиска, тем больше людей используют его и тем больше секретных ссылок они могут ввести.
Теперь, если вы чувствуете себя очень великодушным, вы можете возразить, что редактор — это инструмент freemium, а добавленные ссылки — это то, как вы платите за бесплатную версию. Что ж, я не чувствую себя великодушным, подозреваю, что и Google тоже.
Помимо улучшения самого HTML-редактора и Scorecounter, я нашел третий продукт, который пользовался всеобщим вниманием:
Кубик Рубика
Ruwix.com создан теми же людьми и посвящен знаменитой головоломке. Опять же, очень легко найти большое количество обратных ссылок на Ruwix.com на случайных сайтах с помощью Ahrefs.com. Каждая из этих статей представляет собой несоответствие в тексте, в который они втиснуты, что показывает мне, что авторы этих статей понятия не имели, что происходит. Взгляните (на странице нужно искать «Rubiks»):
UPD: Касперский удалил ссылку, но у меня есть скриншот:
Чтобы узнать, насколько распространена эта инъекция, попробуйте поискать в Google: «Learn how to solve a Rubix Cube with the beginner method». Более 600 посещений на самых разных сайтах. Удивительно, но ссылка даже пробралась в исследовательскую статью (она находится на странице 24, внизу раздела «Ссылки»)!
Целая сеть инструментов
Покопавшись в обратных ссылках, я обнаружил, что существует целая сеть инструментов, которые являются частью одной операции. У всех одинаковые профили обратных ссылок. Они включают:
- htmltidy.net
- html-css-js.com
- divtable.com
- html-cleaner.com
- html5-editor.net
- htmlg.com
Выполнение поиска в Google по запросу «HTML Editor» показывает, что эти инструменты занимают три верхних позиции в результатах поиска. Это демонстрирует, насколько успешной была эта афера.
Внедрение ссылок упоминается в «Условиях Использования» этих инструментов
Это правда, что «условия использования» по крайней мере одного инструмента содержат следующее:
Мы показываем рекламу и можем случайным образом разместить ссылку на конец очищенных документов.
Я искренне сомневаюсь, что этого отказа от ответственности достаточно, чтобы предотвратить кару от Google. Скоро мы это выясним.
amarao
А чем это отличается от той херни, которую Apple в конце писем пользователей своих телефонов дописывает?
izogfif
Может, Google не индексирует письма пользователей Apple?
amarao
Т.е. "хорошо" это или "плохо" определяется тем, индексирует ли его гугль?
… Можно ли бить старушку топором по голове? Зависит от того, будет ли это проиндексировано Гуглом.
DiSha
Сами по себе ссылки это ни хорошо и не плохо, это фундаментальная часть веба. Плохо когда ссылки размещаются только для манипуляций с выдачей гугла.
Kanut
Ну дефолтные сигнатуры есть у многих почтовых клиентов. Неужели у Apple это нельзя поменять или вообще отключить?
И как бы дефолтные сигнатуры на мой взгляд это одно, а «html-cleanеr» который наоборот добавляет мусора это совсем другое.
dartraiden
У ProtonMail, например, нельзя. На бесплатном тарифе. Но можно написать юзерскрипт, который будет это вырезать.
hondurasez
Можно, конечно.
akuzmin
В одном случае это просто видят пользователи как напоминание о бренде (и это как бы явное открытое действие, ничего не нарушается), во втором происходит скрытое влияние на ранжирование сайтов в гугле, что в некоторых случаях может стоить много денег.
vesper-bot
Письмо видит один человек, ссылку "всяк входящий" плюс сам гугл, который её к тому же использует в качестве бонуса для целевого сайта.
mayorovp
Тем, что дописываемая "херня" — явная и заметная. А тут случайное слово тихонько делается ссылкой пока никто не видит.
amarao
Разве случайное слово? Вроде бы, в примерах просто дописывается строчка в текст.
Ну то есть я стою на позиции, что если Эппл можно дописывать в чужие письма всякую хрень, то дописывать всякую хрень в чужие html'ы html-cleaner'у тоже можно.
(Алсо, графические редакторы свои сигнатуры тоже в файлах оставляют).
Kanut
Я бы сказал что все могут «дописывать всякую хрень» до тех пор пока это делается в открытую. То есть если ты знаешь что такое делается и тебе это не нравится, то ты просто не пользуешься и всё. А вот если это делается втихаря…
amarao
А что такое "открыто"? Например, если у вас графический редактор дописывает в поле comments для графического файла своё название, это открыто?
А если у вас CMS пишет внизу " Designed by phpBB " и делает ссылку на свой сайт, это "в открытую"?
Kanut
Я понимаю что это всё немного субъективно и для кого-то что-то «открыто», а для кого-то нет.
Но если это как минимум прописано в документации и/или пользовательском соглашении, то на мой взгляд это уже в открытую.
mayorovp
Видите ли, в чём проблема — от продукта под названием html-cleaner ожидается, что он вычистит из текста всякий мусор, а не добавит туда свой.
amarao
Ровно то же самое ожидается от почтового клиента при создании нового письма и графического редактора при редактировании существующего графического файла.
dikey_0ficial
Планируется, что почтовый клиент очистит ваш текст?
amarao
Планируется, что при создании нового письма, в нём будет то, что я напишу, а при ответе — оригинал в режиме цитирования и текст, который я напишу.
akuzmin
Основная проблема, что эти дописываемые ссылки влияют на ранжирование сайтов в поисковой выдаче. Робот гугла ходит по этим ссылкам, пересчитывает индекс цитируемости и ставит сайт, на который тайно поставили ссылку, выше в рейтинге выдачи.
amarao
Т.е. проблема в некоей третьей силе. И если гугль завтра начнёт ранжировать сайты исходя из метаданных PNG-файлов, то некоторые редакторы окажутся "афёрой с поисковой оптимизацией".
unsignedchar
Если совершенно случайно эти редакторы начатся формировать эти метаданные так, чтобы это влияло на результаты ранжирования в пользу некоторых сайтов — да, это можно назвать аферой.
akuzmin
Мы же говорим не о случайностях, а о преднамеренных действиях.
Scinolim
А что не так? SEO это как раз игроки с чёрными ящиками индексаторов поисковиков. Нужно оперативно подпиливать калькуляторы рейтинга гугла, да и вообще время от времени целиком методику перетряхивать, чтоб сайты в топе годами не висели, а ротировались. Тогда и не будет смысла этого фиктивного SEO вообще, так как через неделю там уже совсем другая выдача окажется, вероятно более полезная и релевантная, чем стагнирующие монополисты топов поисковой выдачи.
atamanenko
Ну например тем, что при написании письма эта херня — единственное, что ты видишь в поле ввода (не заметить трудно), или тем, что настройка сигнатуры — один из стандартных первых шагов в новом клиенте для активных пользователей электронной почты, или тем, что эта подпись несёт своего рода пользу — получатель понимает, что вы отвечаете на ходу, с телефона.
wataru
А что там. "sent from iphone" что ли?
Это реклама, да, но не манипуляция поисковиками.
tzlom
Ничем, оно потому и зовётся хернёй.
spqr_voldi
Дефолтная подпись в почтовом клиенте? Так убери в настойках и всё. (это типа как статусы в каких-нибудь мессенджерах ``привет я пользуюсь мессенджером'', дебильно, но всем лень стирать).
sky2high0
В чем ваш аргумент-то? Абсолютно на любое неадекватное поведение можно привести пример такого же неадекватного примера. И что это доказывает?
amarao
Что это общепринятое поведение в индустрии проприетарного софта и ругаться на один из них с особым жаром — это странно.
mayorovp
Общепринятое поведение — рекламировать себя, а не случайного "партнёра".
sky2high0
Странно как-то.) Почему вы думаете, что общепринятое? У вас есть статистика «число проприетарного софта» и «число проприетарного софта с неожиданным поведением, которое вставляет в контент, генерируемым софтом, рекламу»?
Я такую наглость (вставка рекламы в контент из тулзы) вижу в первый раз.
amarao
Десятки бесплатных редакторов клеют "created with free version of" в видео, например. Прямо поверх видео.
Даже payslip (юридический документ о начислении зарплаты) мне присылают с подписью "Payroll Pro ? Easysoft Ltd"
sky2high0
Это примеры, где явно видно, что ты «отдаешь» за использование бесплатного продукта. Тут же эти ссылки вставляются абсолютно крысиным способом и нигде нет про это предупреждения.
amarao
Но их же видно в результате вывода, нет?
sky2high0
Было бы видно, не было бы статьи.
Если у тебя 10 страниц текста, легко не заметить что-то необычное.
amarao
Ну это уже следующая проблема. Если я нажму на айфоне reply на 10 страниц текста, замечу я приписку про iphone?
sky2high0
Это несравнимые вещи. Почта на iOS используется часто и многими, приписка в конце отключается в настройках.
Я не готов с вами дальше спорить на эту тему. Я вижу, что это бесполезно.
Banochkin
Это «подпись» называется, есть во всех почтовых клиентах.))
amarao
Видимо, вы не видели свободных почтовых клиентов. Там этого нет.
Banochkin
Во всех почтовых клиентах есть такая фича, как подпись, не несите чушь.
amarao
Ну вы передёргиваете. Есть разница между "фича" и "включено по-умолчанию и набито рекламой".
Banochkin
Но ведь если подумать, то можно догадаться, что приписка в почтовом клиенте на iOS «отправлено с iPhone» написано не для «рекламы», а показать абоненту, что отправитель — в пути, могут быть незначительные ошибки и неточности. Или не выйдет?
И почему тогда на десктопе не додумались такую суперэффективную рекламу поставить? Я жду ответ, уже даже интересен ваш полёт фантазии.))
amarao
Я не совсем понимаю каким образом слово iphone означает "в пути". Я вижу, что Apple добавила свою рекламу "made by foobar" в почтовый клиент для дописывания в письма, а обсуждаемая контора — в "очищенные" файлы.
Banochkin
Аплодирую вашему умению видеть именно то, что хочется видеть, и быть уверенным в своём мнении на все сто, не допуская другие.)
amarao
Я допускаю другие мнения, но почему я своё должен менять по этому случаю?