Screaming Frog SEO Spider: что это за программа и как ей пользоваться
Screaming Frog SEO Spider — десктопная программа-краулер, которая обходит сайт так же, как это делает поисковый робот, и собирает технические данные по каждой странице: коды ответа, заголовки, метатеги, редиректы, ссылки, изображения. Основной инструмент технического SEO-аудита.
Ниже — что именно программа находит, чем отличается от онлайн-сервисов, какие у бесплатной версии ограничения и с каких отчётов начинать, чтобы первый обход дал результат, а не таблицу на сорок тысяч строк.
Что делает Screaming Frog
Программа проходит по ссылкам сайта от стартового адреса вглубь и записывает по каждому найденному URL десятки параметров. На выходе получается таблица, в которой видно техническое состояние всего сайта сразу — то, что вручную пришлось бы проверять постранично.
Что собирается за один обход:
- Коды ответа сервера — рабочие страницы, 404, серверные ошибки, цепочки редиректов.
- Title и Description — отсутствующие, дублирующиеся, слишком длинные или короткие.
- Заголовки H1–H6 — отсутствие H1, несколько H1 на странице, дубли.
- Канонические адреса — где canonical указывает на другую страницу, где его нет вовсе.
- Директивы индексации — noindex, nofollow, правила robots.txt.
- Ссылки — внутренние и внешние, битые, глубина вложенности каждой страницы.
- Изображения — без атрибута alt, слишком тяжёлые.
- Структурированные данные — наличие и ошибки разметки Schema.org.
Чем отличается от онлайн-сервисов
Screaming Frog работает на вашем компьютере, а не в облаке. Отсюда его главные свойства: нет лимитов по частоте проверок, данные никуда не передаются, но скорость обхода и объём сайта ограничены ресурсами машины.
Практическая разница проявляется на двух задачах. Первая — повторные проверки: после внесения правок обход можно запускать хоть десять раз в день без доплаты за лимиты, что делает программу удобной для контроля внедрения. Вторая — большие сайты: обход интернет-магазина на сто тысяч страниц упирается в оперативную память, и здесь требуется либо переключение на хранение данных в базе, либо обход по частям. Облачные сервисы в этом случае удобнее, но их отчёты обычно менее детальны.
Бесплатная и платная версия
Бесплатная версия ограничена 500 адресами за один обход и не даёт доступа к части функций — настройке правил обхода, интеграциям с аналитикой, поиску по исходному коду. Платная снимает лимит на количество URL и распространяется по годовой подписке.
Для чего хватает бесплатной версии: проверить небольшой сайт-визитку или лендинг целиком, посмотреть техническое состояние ключевых разделов крупного сайта, быстро найти битые ссылки на конкретной ветке. Для чего не хватает: полноценный аудит интернет-магазина, регулярный мониторинг, сопоставление данных краулинга с посещаемостью из систем аналитики.
С чего начать первый обход
Не пытайтесь осмыслить всю таблицу сразу — в ней сотни колонок. Рабочий порядок: сначала коды ответа, затем индексация, затем метатеги, затем структура ссылок. Каждый следующий уровень имеет смысл только после того, как закрыт предыдущий.
- Запустите обход, указав адрес сайта. Дождитесь завершения — прогресс виден в правом верхнем углу.
- Вкладка Response Codes. Ищите 4xx — это битые страницы, на которые ведут ссылки с вашего же сайта. И 5xx — ошибки сервера, которые видит и поисковый робот.
- Вкладка Directives. Проверьте, какие страницы закрыты от индексации. Классическая находка — noindex, забытый на рабочем разделе после переноса с тестового сервера.
- Вкладка Page Titles и Meta Description. Фильтры Missing и Duplicate. Дубли title на десятках страниц — обычная ситуация для интернет-магазинов с фильтрами.
- Вкладка Canonicals. Ищите страницы, где canonical ведёт на другой адрес: это значит, что вы сами сообщаете поиску, что страница не нужна в индексе.
- Отчёт Redirect Chains. Цепочки редиректов из двух и более шагов расходуют краулинговый бюджет и замедляют загрузку.
Что делать с найденным — в разборе что проверять при SEO-аудите сайта.
Частые ошибки при использовании
Три ошибки встречаются чаще остальных: обход с настройками по умолчанию на большом сайте, игнорирование robots.txt и попытка чинить всё найденное подряд без приоритизации.
Про настройки по умолчанию: программа обходит все найденные URL, включая параметрические — сортировки, фильтры, метки. На интернет-магазине это даёт десятки тысяч почти одинаковых адресов и обход, который не заканчивается. Решается исключением параметров в настройках до старта.
Про приоритизацию: краулер выдаёт список проблем, но не их значимость. Отсутствующий alt у изображения в подвале и noindex на разделе каталога попадут в один отчёт. Порядок работы задаётся влиянием на индексацию: сначала то, что мешает странице попасть в индекс, затем то, что мешает ранжироваться, затем косметика.
Коротко
- Screaming Frog SEO Spider — десктопный краулер для технического аудита сайта.
- За один обход собирает коды ответа, метатеги, заголовки, canonical, директивы индексации, ссылки и разметку.
- Работает локально: без лимитов на повторные проверки, но с ограничением по ресурсам компьютера.
- Бесплатная версия — до 500 адресов за обход и без части функций.
- Порядок разбора: коды ответа → индексация → метатеги → структура ссылок.
- На больших сайтах обязательно исключать параметрические URL до старта обхода.
Проводим технический аудит и выводим сайты в топ — поисковое продвижение сайтов. Смежное: что проверять при SEO-аудите, что такое SEO-продвижение.