Содержание

1. Введение

2. Начало

   • Robots.txt

   • Sitemap.xml

   • Метатэги

     • OpenGraph

     • Twitter

3. Пример

4. Заключение

Введение

Доброго времени суток. Сегодня хочу рассказать вам о том как добавить сайт в поисковую систему.

Многие активно развивают бизнес в интернете или же приходят в него, чтобы получить дополнительный поток аудитории. Разработчики стараются в этом помочь, разрабатывая сайты. Часто бывает так, что уже сайт готов, но бизнес не видит сайта в Google, Bing, Yandex и других поисковых системах:

Сайт написан, домен куплен, так почему же я до сих пор не вижу его?

Дело в том, что поисковые системы индексируют(сохраняют данные у себя и обрабатывают для быстрой выдачи) сайты ежедневно, чтобы включить их в поиск.

Чтобы добавить сайт существуют вебмастера, которым нужно рассказать, что сайт доступен по адресу домена и уже готов к индексации, отображению и продвижению :)

Терминология

• HTML - язык гипертекстовой разметки. Файлы `file.html` содержат код для структурирования и отображения веб-страницы и её контента.

• Метаданные - информация о другой информации, или данные, относящиеся к дополнительной информации о содержимом или объекте.

• Метатеги HTML - структрированные метаданные о веб-странице.

• Поисковая система — алгоритмы и реализующая их совокупность компьютерных программ, предоставляющая пользователю возможность быстрого доступа к необходимой ему информации при помощи поиска в обширной коллекции доступных данных

• DNS - Domain name system - доменная система имён, используется для получения информации о домене. Подробнее можно о DNS узнать из комикса.

• Вебмастер - сервис для отслеживания индексации вашего сайта, сбора статистики по поиску и т.п.

Начало

Для начала давайте разберёмся какие нам нужны вещи для того чтобы сайт прошёл в поисковые системы и при этом мы не наткнулись на какие-то проблемы. А может просто хотели бы, чтобы какие-то вещи были сделаны и использованы под наши запросы.

Robots.txt

Файл robots.txt текстовый файл, но который должен содержать определённую структуру для определения поисковыми роботами.

В нём стоит указывать файлы которые могут или не могут просматриваться роботами, а также какие из этих роботов могут просматривать их. К примеру вы можете запретить просматривать ваш сайт все роботам Яндекс, но Гугл будет оставаться в списке.

Пример

В данном примере мы запрещаем Яндекс роботу просматривать директорию secret, но остальные поисковые роботы получат к нему доступ:

User-agent: Yandex
Disallow: /secret/

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

User-agent - наименование поискового робота;

Allow/Disallow - разрешение или запрет на чтение;

Sitemap - указывает на расположение файла sitemap.xml для дальнейшей индексации.

Существуют правила по расположению файла robots.txt для чтения его роботами:

• Файл должен находиться в корне

• Файл должен иметь название robots.txt

• Файл должен быть в единственном экземпляре

• Файл можно размещать на субдомене

• Файл должен быть в кодировке UTF-8

Каждый файл robots.txt, размещённый на разных субдоменах, отвечает за свой субдомен и протокол. То есть http://example.com не равно http://sub.example.com, как и http://example.com не будет равен https://example.com

Подробнее о файле robots.txt тут. А также существует онлайн сервисы, которые помогают в составлении robots.txt. Пример сервиса: https://pr-cy.ru/robots/.

Sitemap.xml

Sitemap - это XML файл с информацией о страницах, которые должны быть проиндексированы поисковой системой.

Часто данный файл содержит информацию об url, его последней модификации и приоритете индексирования страниц. На основе этого поисковая система понимает, которые из url имеют изменения и насколько они важны. Данный файл не гарантирует индексацию поисковыми системами, а служит некоторой подсказкой для них.

Пример файла sitemap.xml

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
        xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd"
        xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
    <url>
        <loc>https://pavlusha.me/</loc>
        <lastmod>2023-08-14T08:00:00+00:00</lastmod>
        <image:image>
            <image:loc>
                https://pavlusha.me/src/img/me.jpg
            </image:loc>
            <image:title>
                Pavel Zavadski Photo
            </image:title>
        </image:image>
    </url>
</urlset>

Для sitemap.xml также существуют сайты с генерацией контента. Пример такого сервиса: https://www.xml-sitemaps.com/.

Метатэги

Метатэги HTML несут с собой информацию, такую как описание сайта, ключевые слова, указание иконки (favicon) и т.д. Они также позволяют указать информацию для создания карточек предпоказа вашего сайта в интернете. Для этого вы можете использовать Open Graph от Facebook и Twitter.

Ниже приведены примеры написания метатэгов для предпоказа вашего сайта.

OpenGraph

Open Graph - это протокол, введенный компанией Facebook в 2010 году для более глубокой интеграции Facebook с любой веб-страницей. Он позволяет любой веб-странице иметь ту же функциональность, что и любой другой объект в Facebook. Вы можете контролировать, как ваш сайт отображается в Facebook. Теперь и другие социальные сети, такие как Twitter, LinkedIn, признают метатеги Open Graph.

Twitter

Если вы хотите проверить как Ваш сайт отображается на разных популярных сайтах и приложениях вы можете воспользоваться эти сервисом. Он также позволяет сгенерировать метатэги, если они отсутствуют или Вы не знаете как их написать самостоятельно.

Пример добавления сайта в поиск

В примере я буду добавлять сайт npleto.ru в Яндекс при помощи Яндекс Вебмастера

Чтобы добавить сайт требуется ввести его адрес (в моём случае https://npleto.ru) и нажать добавить. Далее нужно подтвердить право владения доменом, для этого есть 3 пути:

• HTML файл - потребуется разместить файл на сервере

• Метатэги - добавить метатэг в HTML страницу

• DNS записи - добавить DNS запись

Я буду использовать подтверждение по DNS записи. Для этого потребуется создать TXT запись в панели управления DNS записями. Использую Cloudflare, поэтому пример со скриншота может отличаться. Яндекс Вебмастер потребовал вписал TXT запись со значением yandex-verification: 7d6dxxxc47exxx2b:

После добавления DNS записи возвращаемся в Вебмастер и нажимаем Проверить.

После успешного прохождения проверки домен отобразиться в панели.

Спустя некоторое время сайт появиться в поисковой выдаче. Точное время появление в поиске определяется самой поисковой системой. Но чтобы точно знать что сайт уже появился в поиске рекомендую использовать ключевые слова site:<domainname> данный запрос в поисковике вернёт вам все проиндексированные страницы домена

Заключение

В заключении можно подвести итог, что любой сайт, который разработан и вы хотите чтобы о нём узнали следует также добавить в поисковик при помощи Вебмастера.

Указание robots.txt, sitemap.xml, метатегов, использование семантической вёрстки и подробное описание сайта - это вершина айсберга к пониманию работы поисковых роботов, но уже может решить много задач, связанных с появлением сайта в поисковой выдаче и его продвижением.