Вот создали вы сайт, наполнили его контентом и даже оптимизировали страницы под поисковики. Но одним прекрасным (или не очень) утром понимаете, что ночью сервер упал. Насколько критичным бывает такое падение для SEO? Давайте разбираться.

Дисклеймер: эта статья предназначена в первую очередь для SEО-специалистов и вебмастеров. Я не буду погружаться в железо или глубоко вникать в причины простоя. Хочу лишь рассказать о том, насколько серьезным бывает падение для позиций вашего сайта.

Причины и последствия падения сервера для SEO

Падение сервера — это проблема (ошибка) на стороне сервера, связанная с обработкой HTTP-запроса пользователя к сайту. Простыми словами, сайт «упал», и сервер перестал обрабатывать запросы пользователей.

Какие могут быть причины:

• использование в CMS двух несовместимых (конфликтующих) плагинов;
• неверный синтаксис файла .htaccess;
• нехватка оперативной памяти сервера при выполнении скрипта;
• скрипты сайта с неправильными сценариями;
• DDoS-атака;
• аппаратные сбои.

Когда сервер не отвечает, пользователи вместо контента страницы видят сообщение с кодом 5хх. Например, так выглядит страница Google:

Чем грозит падение сервера

Ухудшение поведенческих факторов: увеличение количества отказов. Самая предсказуемая реакция посетителей, особенно покупателей, которые столкнулись с ошибкой 500. Пользователи закрывают сайт или страницу и продолжают поиск дальше на другом ресурсе.

Потеря позиций в выдаче. Такое возможно при ухудшении показателя поведенческих факторов. Для формирования выдачи Яндекс, например, использует попарное сравнение с аналогичным по наполнению документом. И если у вашего ресурса будут хуже оценки по другим характеристикам (а при падении сервера вероятность очень велика), то пессимизация в выдаче обеспечена.

В зависимости от масштаба бедствия при следующем посещении роботом веб-ресурса, если проблему с падением сервера не исправить, может произойти следующее.

• Удаление страницы из выдачи, если был недоступен только один документ. Трафик посетителей будет потерян только на конкретную проблемную страницу.
• Удаление сайта из выдачи. Самый нежелательный исход, так как нет гарантии возвращения веб-ресурса на те же позиции, которые он занимал прежде в поисковой выдаче, особенно если сайт многостраничный.

Краулеры поисковых систем постоянно собирают актуальную информацию обо всех страницах сайта, чтобы предоставлять пользователям самую свежую и подходящую по запросу.

Краулер — это робот поисковой системы, который обходит все документы (страницы) интернета и заносит информацию с них в базу данных. И если интернет принято считать Всемирной паутиной, то краулер в ней — это паук, перемещающийся между связанными нитями и учитывающий каждую деталь и ссылку.

Администратор сайта может самостоятельно инициировать появление робота, например, отправить страницу на переобход в вебмастере поисковой системы, разместить ссылку на определенную страницу на авторитетном ресурсе или настроить периодичность обновления контента с помощью XML-карты сайта. Но точно спрогнозировать, когда именно будет происходить оценка сайта на соответствие, невозможно.

Существует огромное количество факторов ранжирования. По некоторым данным, у Яндекса их больше 1900. Но одним из самых важных все же остается доступность сайта или конкретной страницы для пользователя. И если на ресурсе будут неполадки, а тем более отказ в доступе к серверу, то спустя какое-то время робот перестанет считать информацию с него полезной и сайт начнет терять позиции в выдаче.

У Google более 200 основных критериев. В «Инструкции для асессоров» говорится, что для витальной — наиболее высокой — отметки важна доступность страницы и веб-сайта.

Асессоры — люди, оценивающие контент на каждой конкретной странице.

Разберем два реальных примера, как упавший сервер повлиял на доступность веб-ресурсов.

Удаление страницы медицинской организации из выдачи

Сотрудник медицинской компании установил для одной из страниц плагин, несовместимый с CMS. Работу он вел вечером, в результате страница была недоступна около 12 часов.

Так как сайт сам по себе небольшой, около 100 страниц, поисковому роботу Яндекса было проще отслеживать изменения. Реакция на 500 код последовала достаточно быстро, и поисковик удалил документ из выдачи.


Утренний скриншот с TopSite. Страница удалена из выдачи Яндекса.

Массовая потеря позиций у сайтов

В личном блоге SEO-специалист Евгений рассказывает про свой опыт столкновения с DDoS-атаками на хостинг и падением сервера. На скриншоте ниже показано падение просмотров до нуля на одном из ресурсов с хорошей ежедневной посещаемостью.



Также, по наблюдениям Евгения, 15 сайтов, находившихся на упавшем сервере, сильно просели в позициях. При этом восемь из них потеряли часть страниц в выдаче.

Что делать, если страница или сайт исчезли из выдачи

Чем быстрее вы найдете и исправите проблему, тем меньше вероятность негативного результата.

После первого сканирования поисковый робот вернется для проверки повторно. И если код ответа документа или всего ресурса изменился на 200, то последствий для SEO-оптимизации может и не быть. Но если все же страница или сайт пропали из выдачи, вот небольшой план, как постараться их вернуть.

Шаг 1. Обозначьте масштаб и определите, что именно вылетело: один документ (страница) или весь веб-ресурс.

Шаг 2. Как можно быстрее определите причину и устраните ее. Возможно, для этого придется обратиться к разработчикам или системному администратору.

Рассмотрим подробнее, как можно исправить неполадки в зависимости от вида проблемы.

• Несовместимые плагины. Достаточно распространенная ситуация, когда новый плагин некорректно взаимодействует с CMS, а страницы просто недоступны. Самое простое решение — заменить плагин.
• Неверный синтаксис .htaccess. Тот самый случай, когда ошибка в одной букве может отключить весь сайт. И чем скорее ее найти и исправить, тем больше шансов вернуть все на свои места.
• Недостаточный объем оперативной памяти. Решение — увеличить объем. В целом при расширении онлайн-бизнеса важно учесть возможность автоматического масштабирования, чтобы в самый ответственный момент (например, во время распродажи) ресурс оставался доступным.
• Скрипты сайта с неправильными сценариями. Чтобы избежать появления 500 ошибки, желательно тестировать код на стороннем ресурсе. Если же проблема уже появилась, нужно срочно изменить скрипт.
• DDoS-атака. Хорошее решение для защиты сайт — подключить межсетевой экран и файрвол, они помогут контролировать и отсеивать подозрительный трафик.

Шаг 3. После исправления всех проблем отправьте страницу или сайт на индексирование в вебмастер поисковой системы, чтобы робот как можно быстрее зафиксировал исправление поломки.

А чтобы исключить или минимизировать последствия возникновения 500 ошибки, рекомендуем еженедельно отслеживать состояние сайта. Для этого существует множество онлайн-сервисов и программ.

Инструменты для контроля сайта

Первые помощники в отслеживании и контроле состояния сайта для веб-мастера, владельца бизнеса и SEO-специалиста — сервисы от популярных поисковых систем: Google Search Console и Яндекс Вебмастер. Оба вебмастера имеют достаточно понятный интерфейс, с которым легко разобраться даже новичку.

Например, в Яндексе во вкладке «Статистика обхода» можно увидеть, какие страницы обошел робот с их кодами ответа.


Также существует огромное количество программ, которые отображают информацию по конкретной странице или списку. В определенных случаях краулер помогает сократить время на поиск проблем. Но нужно помнить, что самый точный источник информации — вебмастер поисковой системы.


Краулер обошел страницы сайта Selectel и показал их код ответа.

Также существует огромное количество программ, которые отображают информацию по конкретной странице или списку. В определенных случаях краулер помогает сократить время на поиск проблем. Но нужно помнить, что самый точный источник информации — вебмастер поисковой системы.

Популярны онлайн-сервисы по отслеживанию состояния сайта. На них можно настроить частоту проверки ресурса — при нахождении каких-либо неполадок сервис сразу же пришлет уведомление на email. Такие инструменты помогут точно отследить период изменений и исключить повторение нежелательных ситуаций.

Как избежать простоя бизнесу

Если ошибку 500 в рамках SEO можно отследить сервисами или нивелировать с течением времени, то для бизнеса обычно не все так просто. По данным Forbes, падение сервера может исчисляться потерей миллионов или даже миллиардов рублей. Так, eBay еще в 1998 году за 24 часа простоя потерял $3 млн. А Skype в 2007 году за два дня стал дешевле на $1 млрд. Проблемы случались и у облачного сервиса Amazon, серверы которого из-за неправильных сетевых настроек не работали в течение четырех дней.

Обычно самый опасный период приходится на моменты распродаж (например, Черной пятницы) или проведения акций, когда серверы не способны выдержать огромную нагрузку от посетителей и выполняемых операций. Именно поэтому очень важно предварительно подготовиться к подобным мероприятиям, чтобы избежать простоя:

• рассчитать количество возможных онлайн-покупателей в этот день;
• масштабировать систему под необходимый объем, чтобы исключить ситуацию с недостаточным количеством памяти у сервера.

Также нужно помнить про DDoS-атаки, которые способны принести значительный урон как репутации, так и финансовой составляющей. Поэтому компании все чаще выбирают облачных провайдеров услуг, готовых предоставить качественное обслуживание физических серверов, возможность быстрого масштабирования и защиты от хакерских атак.

Как мы в Selectel следим за доступностью сайта

Нам в Selectel, помимо удобности использования сайта и качественного представления продукта для клиентов, также важна постоянная доступность ресурса. За этим параметром следят сразу несколько команд, как отвечающих за железо, так и маркетинговых.

Чтобы обеспечить бесперебойную работу серверов в Selectel, технические специалисты отслеживают критически важные показатели 24/7, контролируя все — от температуры до нагрузки на конкретную машину.

А вот как это делают SEO-специалисты в департаменте маркетинга:

• тщательно отслеживают все важные параметры основного сайта и поддоменов с помощью вебмастеров Яндекса и Google;
• регулярно проводят SEO-аудит с помощью краулеров, чтобы вовремя предупредить появление проблем с отображением страниц, а также скоростью их загрузки;
• анализируют трафик и его «роботность», чтобы определить «нежелательные» адреса и предупредить DDoS-атаку со своей стороны.

Все это помогает Selectel поддерживать сайт доступным 24/7.

А вы сталкивались с просадкой страниц? Расскажите, как вы справились с проблемой?

Читайте также:

• Заставляем ChatGPT быть эгоистичным и решать дилемму заключенного, в которой есть котики
• Какой ПК выбрать SEO-специалисту? Тестируем на «лягушках» и делаем выводы
• Майские мини-ПК: 5 хороших моделей для разных задач