Часто владельцы интернет магазинов думают, что, вложив немалые деньги в разработку сайта и наполнив их товарами, сразу получать сотни заказов в день. Прибыль будет исчисляться миллионами, а то и миллиардами. Но, как правило, без правильной работы над сайтом сложно получить положительный результат.  

Почему некоторые молодые интернет магазины сразу получают хороший поисковый трафик, а другие не имеют результата даже через несколько лет? Все дело в индексации страниц поисковой системой Google. Если документы не попадают в индекс, то сайт не приносит трафик и клиентов.

Сегодня постараемся разобраться, что такое индексирование сайта, от чего оно зависит и как можно правильно применить бесплатный инструмент GTP3 для улучшения индекса интернет магазина.

Я, Иван Жданович — SEO и PPC. Руковожу IT стартапом Seo House^{_{[ссылка удалена модератором]}}. В моем портфолио есть немало кейсов, в которых мне получалось выводить IT проекты на первое место в весьма конкурентных тематиках. Веду свой блог, преподаю в вузах и регулярно провожу вебинары.

Что такое индексация сайта?   

Индексация сайта - это процесс, при котором поисковые системы, такие как Google, сканируют и анализируют содержимое веб-страниц для включения его в свою базу данных (индекс). Когда сайт проиндексирован, он становится доступным для отображения в результатах поиска по соответствующим запросам пользователей. Индексация позволяет поисковым системам эффективно находить и предлагать релевантные результаты поиска.

Все, кажется, достаточно просто. Создал сайт, поставил счетчики Google Search Console и Google Analytics и, все страницы проиндексировались. Но это, конечно, идеальный случай. Увы, но такое бывает очень редка. При работе с клиентами компания Seo House часто видит огромное количество не проиндексированных страниц в поиске, как на изображении ниже.

На изображении одного из клиентов видно более 4860 страниц, которые не попали в индекс Google. А проиндексировано меньше половины – 3430 документов.

Причины плохой индексации страниц

Если ваш сайт имеет плохую индексацию в поисковых системах, это может быть вызвано несколькими причинами. Вот некоторые из них:

1. Неправильная настройка файла robots.txt: Файл robots.txt используется для указания поисковым роботам, какие страницы сайта должны быть проиндексированы, а какие нет. Если файл robots.txt содержит ошибки или неправильно настроен, это может привести к неправильной индексации страниц.

2. Дублирование контента: Если на вашем сайте есть дублирующийся контент, например, один и тот же текст на разных страницах или использование других сайтов для копирования вашего контента, поисковые роботы могут столкнуться с проблемами при определении, какую страницу проиндексировать.

3. Ошибки в коде и структуре сайта: Наличие ошибок в HTML-коде, недоступность страниц для поисковых роботов или неправильное использование мета-тегов могут привести к плохой индексации.

4. Недостаточное количество ссылок на ваш сайт: Если ваш сайт имеет мало внешних ссылок, поисковые роботы могут реже обращаться к нему для индексации нового контента.

5. Низкое качество контента: Если контент на вашем сайте не уникален, низкого качества или не соответствует запросам пользователей, поисковые системы могут снизить его приоритетность при индексации.

6. Отсутствие XML-карты сайта: XML-карта сайта помогает поисковым роботам понять структуру вашего сайта и проиндексировать все его страницы. Если у вас нет XML-карты сайта или она неправильно настроена, это может затруднить индексацию.

7. Медленная скорость загрузки страниц: Если ваш сайт загружается медленно, поисковые роботы могут иметь ограниченное время для индексации страниц, что может привести к неполной индексации.

Выше перечисленные причины, в большинстве случаем, устраняется при помощи работы программиста или seo специалиста и только одна из них при помощи копирайтера. Эта причина – низкое качество контента на страницах.

Как можно улучшить качество контента на страницах сайта

Самый распространенный ответ – при помощи копирайтера написать тексты на все страницы. Такое решение подойдет только для маленьких сайтов. А что же делать для интернет-магазинов, у которых более 100 000 страниц. Цена на англоязычных биржах за 1000 символов с пробелами составляет от 20 до 100 долларов. Если умножить минимальную сумму на количество текста, то получается внушительная сумма расходов в 2 000 000 долларов. И далее становится вопрос рентабельности такого бизнеса. Так что же тогда делать?

Выходом из данной ситуации является генерация контента при помощи искусственного интеллекта или GPT3. На данный момент сервисов достаточно много, но я покажу один бесплатный сервис chatbot.theb.ai, где можно без регистрации попробовать свои силы в написании контента на английском языке.

Кейс по генерации контента для интернет магазина

В компании Seo House есть интересный кейс про зарубежный интернет магазин, который никак не хотел индексироваться. Seo-специалисты данного сайта проделали много манипуляций по индексации страниц. Подключали сервис API Google Cloud, меняли домен на новый, но результата это не принесло. Ниже на изображении можно посмотреть плачевное состояние сайта на период обращения клиента в нашу компанию.

На изображении выше видно, что более 175 000 страниц не индексируются, а всего лишь 113 находятся в поисковой системе. Сайту на данный момент было более 16 месяцев, и на фильтр “Песочницы Google” грешить не приходилось. Банальная проблема данного сайта была в том, что структура интернет магазина была скопирована с популярного маркетплейса. Категории и карточки товаров не отличались уникальностью, а компания Google не хотела тратить ресурсы на еще один клон популярного сайта.

Работы по уникализации сайта

В целом сайт состоял из карточек товаров и категорий. Данные страницы не хотели индексироваться из-за не уникального контента, поэтому перед нашей командой стояла задача уникализации двух типов контента. Для решения проблемы с индексацией было принято решение добавить блоки с уникальной информацией. Создания контента проводилось через API Chat Openai. Сам инструмент имеет бесплатные лимиты, но для большого количества страниц приходилось использовать и платные пакеты данных.

Уникализация карточек товаров

Команда Seo House приступила к выполнению первой задачи, а именно уникализация карточек товаров. При анализе конкурентов было выявлена неуникальность описания и характеристик товаров в поисковой выдаче, но при этом в крупных магазинах все хорошо индексировалось. Было принято решение оставить описание товаров и сосредоточиться на создании дополнительных уникальных блоках на страницах карточек товаров.

1) Добавление на карточки товаров блока отзывов.

Для разработчика была поставлена задача добавить на каждую карточку товаров блок с отзывами. На каждой странице должно быть не меньше 3 отзывов, которые генерировались в автоматическом режиме через API сервиса Chat Openai.

Задание в сервисе Chat Openai для всех отзывов должно быть следующее: “Form the text for the review. The review should include product features. Too watery constructions should not be added. More specific facts about the product. The review should be between 300 and 500 characters. Add rare words. Use rare words. don't use "I recently" words. Create reviews from real people”.

Текст для запроса должен быть следующий: “Review + “Заголовок H1””, где значение “Заголовок H1” – это динамическое значение заголовка H1 для каждой карточки товара.

В результате оптимизации карточек товаров был создан блок с отзывами.

Отзывы генерировались как положительные, так и отрицательные, чтобы пользователю они казались более естественными.

2) Добавление на карточки товаров блока “Вопросы и ответы”.

У клиента была полезная страница “FAQ” c популярными вопросами и ответами пользователей на сайте. Поэтому было принято решение создать блок “Вопросы и Ответы” на каждой карточке товаров. Разметить его Микроразметкой FAQpage, чтобы структурные данные правильно отображались в поисковой выдаче Google. А при помощи сервиса API Chat Openai сгенерировать уникальные вопросы и ответы для каждой страницы товаров. Количество сгенерированных вопросов должно было быть не менее 3, чтобы разметка правильно работала.

Команда Seo House подготовил задание для сервисе Chat Openai программисту для автоматического генерирования контента через API в интернет магазин данных. Задание звучало следующим образом: “Compose an English text based on the facts of the text NOT using the most common words and phrases, but using words and phrases that are rarely usedand adding rare, unique, relevant information. Use text formatting. The body text itself goes on after the colon:”

В итоге получился блок “FAQ” с уникальной информацией.

Из-за большого объема генерации данных, было принято решение наполнять хоть одним ответом на вопрос, что добавляло странице уникальность и улучшало ранжирование в поисковых системах. В итоге за 7 месяцев было сгенерировано более 300 000 уникальных вопросов и ответов.

Уникализация категорий

Для уникализации категорий было принято решение на основании конкурентов добавить текст от 1000 до 2000 символов с пробелами. Для улучшения качества контента было принято решение добавить в задание параметры каждой категории, которые в автоматическом порядке можно было получить быстро и не используя людей. Параметры были следующие: название категории, возможность доставки в тот или иной штат США, количество товаров, минимальные и максимальные цены. В итоге получился достаточно неплохой текст на изображении ниже.

После внедрения блока “Вопросы и ответы” на карточках товаров, пользователи начали пользоваться данным функционалом. Клиент предложил добавить такой блок еще и на всех категориях сайта.  

Изображение блока “FAQ” для категории.

На изображении выше показана реализация блока с вопросами и ответами для категории.

Результаты по уникализации контента

Работы по уникализации контента длились 7 месяцев. Над проектом работали: программиста, seo-специалист и копирайтер. По истечению 7 месяцев у нашей команды Seo House получилось проиндексировать 80 900 страниц на сайте. В индекс не попали страницы, на которых отсутствовал уникальный контент.

Если подводить итоги по генерации контента, то смело можно сказать, что наша работы совместно с искусственным интеллектом принесла положительный результат, а клиенту сэкономила 2 миллиона долларов только на контенте.