Многие SEO-специалисты практически ежедневно проводят технические аудиты сайтов используя тот или иной софт для краулинга. В 90% случаев это всем известные Screaming Frog SEO Spider либо Netpeak Spider. Обе программы платные, а их стоимость начинается от ?149 и $182 в год соответственно (500 бесплатных страниц, доступных в Screaming Frog в учет не берем, так как это не серьезно для более-менее крупных проектов). Согласитесь – не каждый фрилансер-сеошник может позволить себе потратить более 10 000 рублей на приобретение подобного софта.

Без сомнений, обе программы достойные, но хотелось бы дешевле, и намного дешевле. А лучше бесплатно )

Конечно, помимо Screaming Frog и Netpeak Spider существует множество других платных и бесплатных аналогичных программ для краулинга сайтов, однако, большинство из них либо имеет более слабый функционал, либо их поддержка и развитие прекращены по неизвестным нам причинам.



И если среди платных краулеров особых вопросов «что использовать» особо не возникает (лягушка, нетпик, ну или вебсайтаудитор на крайний случай), то бесплатные аналоги известны далеко не всем.

В данной статье мы постараемся осветить данный вопрос.

Примеры альтернативных бесплатных SEO-краулеров:

Xenu’s Link Sleuth – прародитель веб-краулеров, не обновлялся с 2010 года. Было бы странно, если бы им сейчас еще кто-то пользовался.



WildShark – очень простой и бесплатный парсер сайтов от одноименного рекламного агентства. Хотя WildShark SEO Spider имеет больше функций, чем Xenu’s Link Sleuth, однако он все же функционально бедноват. Настройки практически отсутствуют. Подойдет для быстрой оценки технического состояния сайта, но для серьезных аудитов не подходит.



Beam Us Up – бесплатный сканер сайтов для ПК, который поддерживает платформы Windows, Linux и MacOS, имеет достаточно информативные отчеты и возможность выгрузки в Excel битых ссылок, редиректов и т.п. ошибок на сайте. Из минусов: парсит только HTML, проект более не поддерживается и не развивается.



Webbee – это бесплатный сканер сайтов или списка URL. Программа имеет широкий набор анализируемых параметров, отображает полученную статистику в графическом виде, есть интеграция с Google Analytics. Минусы: визуализация данных на графиках выглядит жутковато, анализируемых параметров могло бы быть и больше, нет возможности фильтрации данных по произвольным полям. Последний релиз был выпущен в 2015 году.



LinkChecker – программа предназначена для проверки битых ссылок в HTML-коде и файлах CSS, отсюда ее ограниченность в применении. Работает медленно, давно не обновлялась. Не стоит тратить на нее время.



IIS SEO Toolkit – бесплатный SEO-краулер самой Microsoft! Обладает достаточным набором функций для программ подобного рода, скорость сканирования сайтов также на уровне. Однако работает только на Windows 7-8. 10-ка не поддерживается. По всей видимости дальнейшая поддержка программы прекращена.



SiteAnalyzer – по набору функций практически не уступает платным аналогам, то есть на 80% программа повторяет основной функционал Screaming Frog и Netpeak Spider. При этом некоторых функций, таких, как «Визуализация ссылочных связей» на графе, нет даже у большинства платных аналогов. Молодой, но уже достойный внимания продукт.



Как можно понять из выше озвученного списка, бесплатных альтернатив у платных краулеров предостаточно, однако большинство из них обладают посредственным функционалом, поэтому более подробно я бы хотел остановиться лишь на одной программе из предложенных вариантов – SiteAnalyzer.

Программа визуально довольно близка со Screaming Frog SEO Spider, при этом на 80% SiteAnalyzer повторяет основной функционал «лягушки» и имеет русскоязычный интерфейс, поэтому разобраться с ее работой опытному либо начинающему сеошнику не составит большого труда.

Быстрый доступ к проектам

Основным отличием SiteAnalyzer от Screaming Frog является возможность хранения всех сайтов в единой базе в виде списка проектов. Таким образом, не нужно тратить время на сохранение проекта на диск и последующую загрузку данных с диска – просто выбираем нужный проект из списка и через несколько секунд получаем все его страницы с подробной информацией по каждой из них.

Визуализация данных

Визуализация ссылочных связей на графе предназначена для визуального отображения внутренней перелинковки сайта, что дает дополнительное представление о структуре сайта и помогает определить хабовые страницы и разделы.



Не лишним будет упомянуть, что веб-краулеров с возможностью визуализации ссылок на графе во всем мире наберется не больше, чем пальцев на одной руке, поэтому наличие данной функции в бесплатной программе особенно ценно.

Расчет PageRank

Вкладка PageRank предназначена для расчета и отображения численного значения внутреннего ПейджРанк для каждой страницы сайта (рассчитывается исходя из внутренней перелинковки всех страниц сайта).



Таким образом, SEO-специалист сможет проанализировать, какие страницы получают больше всего внутренних ссылок и при необходимости скорректировать перелинковку сайта для перенаправления ссылочного веса на более важные страницы.

Проверка индексации страниц

В программе существует возможность проверки индексации страниц в поисковой системе Яндекс через Яндекс XML.



Таким образом, после сканирования сайта вы сможете проанализировать, какой процент страниц вашего сайта находится в индексе Яндекса без использования сторонних сервисов.

Дашборд

Вкладка Дашборд позволяет отобразить подробный отчет о текущей оптимизации сайта на одной странице путем отображения всех найденных ошибок и указанием степени их критичности.



Помимо этих данных в отчете присутствует указание общего показателя качества оптимизации сайта, рассчитываемого по 100-бальной шкале относительно текущей степени его оптимизации. Дополнительно имеется возможность экспорта данных вкладки «Дашборд» в отчет в формате PDF.

Заключение

Сегодня мы рассмотрели бесплатные варианты программ для технического аудита и выяснили, что при желании можно найти вполне достойные замены платным инструментам и прилично сэкономить бюджет, практически ничего не потеряв в качестве проведения аудита сайтов.