Screaming Frog SEO Spider: что это за программа и как ей пользоваться

Screaming Frog SEO Spider — десктопная программа-краулер, которая обходит сайт так же, как это делает поисковый робот, и собирает технические данные по каждой странице: коды ответа, заголовки, метатеги, редиректы, ссылки, изображения. Основной инструмент технического SEO-аудита.

Ниже — что именно программа находит, чем отличается от онлайн-сервисов, какие у бесплатной версии ограничения и с каких отчётов начинать, чтобы первый обход дал результат, а не таблицу на сорок тысяч строк.

Что делает Screaming Frog

Программа проходит по ссылкам сайта от стартового адреса вглубь и записывает по каждому найденному URL десятки параметров. На выходе получается таблица, в которой видно техническое состояние всего сайта сразу — то, что вручную пришлось бы проверять постранично.

Что собирается за один обход:

• Коды ответа сервера — рабочие страницы, 404, серверные ошибки, цепочки редиректов.
• Title и Description — отсутствующие, дублирующиеся, слишком длинные или короткие.
• Заголовки H1–H6 — отсутствие H1, несколько H1 на странице, дубли.
• Канонические адреса — где canonical указывает на другую страницу, где его нет вовсе.
• Директивы индексации — noindex, nofollow, правила robots.txt.
• Ссылки — внутренние и внешние, битые, глубина вложенности каждой страницы.
• Изображения — без атрибута alt, слишком тяжёлые.
• Структурированные данные — наличие и ошибки разметки Schema.org.

Чем отличается от онлайн-сервисов

Screaming Frog работает на вашем компьютере, а не в облаке. Отсюда его главные свойства: нет лимитов по частоте проверок, данные никуда не передаются, но скорость обхода и объём сайта ограничены ресурсами машины.

Практическая разница проявляется на двух задачах. Первая — повторные проверки: после внесения правок обход можно запускать хоть десять раз в день без доплаты за лимиты, что делает программу удобной для контроля внедрения. Вторая — большие сайты: обход интернет-магазина на сто тысяч страниц упирается в оперативную память, и здесь требуется либо переключение на хранение данных в базе, либо обход по частям. Облачные сервисы в этом случае удобнее, но их отчёты обычно менее детальны.

Бесплатная и платная версия

Бесплатная версия ограничена 500 адресами за один обход и не даёт доступа к части функций — настройке правил обхода, интеграциям с аналитикой, поиску по исходному коду. Платная снимает лимит на количество URL и распространяется по годовой подписке.

Для чего хватает бесплатной версии: проверить небольшой сайт-визитку или лендинг целиком, посмотреть техническое состояние ключевых разделов крупного сайта, быстро найти битые ссылки на конкретной ветке. Для чего не хватает: полноценный аудит интернет-магазина, регулярный мониторинг, сопоставление данных краулинга с посещаемостью из систем аналитики.

С чего начать первый обход

Не пытайтесь осмыслить всю таблицу сразу — в ней сотни колонок. Рабочий порядок: сначала коды ответа, затем индексация, затем метатеги, затем структура ссылок. Каждый следующий уровень имеет смысл только после того, как закрыт предыдущий.

1. Запустите обход, указав адрес сайта. Дождитесь завершения — прогресс виден в правом верхнем углу.
2. Вкладка Response Codes. Ищите 4xx — это битые страницы, на которые ведут ссылки с вашего же сайта. И 5xx — ошибки сервера, которые видит и поисковый робот.
3. Вкладка Directives. Проверьте, какие страницы закрыты от индексации. Классическая находка — noindex, забытый на рабочем разделе после переноса с тестового сервера.
4. Вкладка Page Titles и Meta Description. Фильтры Missing и Duplicate. Дубли title на десятках страниц — обычная ситуация для интернет-магазинов с фильтрами.
5. Вкладка Canonicals. Ищите страницы, где canonical ведёт на другой адрес: это значит, что вы сами сообщаете поиску, что страница не нужна в индексе.
6. Отчёт Redirect Chains. Цепочки редиректов из двух и более шагов расходуют краулинговый бюджет и замедляют загрузку.

Что делать с найденным — в разборе что проверять при SEO-аудите сайта.

Частые ошибки при использовании

Три ошибки встречаются чаще остальных: обход с настройками по умолчанию на большом сайте, игнорирование robots.txt и попытка чинить всё найденное подряд без приоритизации.

Про настройки по умолчанию: программа обходит все найденные URL, включая параметрические — сортировки, фильтры, метки. На интернет-магазине это даёт десятки тысяч почти одинаковых адресов и обход, который не заканчивается. Решается исключением параметров в настройках до старта.

Про приоритизацию: краулер выдаёт список проблем, но не их значимость. Отсутствующий alt у изображения в подвале и noindex на разделе каталога попадут в один отчёт. Порядок работы задаётся влиянием на индексацию: сначала то, что мешает странице попасть в индекс, затем то, что мешает ранжироваться, затем косметика. Про то, что вообще влияет на ранжирование, — релевантность простыми словами.

Коротко

• Screaming Frog SEO Spider — десктопный краулер для технического аудита сайта.
• За один обход собирает коды ответа, метатеги, заголовки, canonical, директивы индексации, ссылки и разметку.
• Работает локально: без лимитов на повторные проверки, но с ограничением по ресурсам компьютера.
• Бесплатная версия — до 500 адресов за обход и без части функций.
• Порядок разбора: коды ответа → индексация → метатеги → структура ссылок.
• На больших сайтах обязательно исключать параметрические URL до старта обхода.

Частые вопросы

Screaming Frog бесплатный

Есть бесплатная версия с ограничением в 500 адресов за один обход и урезанным набором функций. Полная версия распространяется по платной годовой подписке.

На каких системах работает Screaming Frog

Программа выпускается для Windows, macOS и Linux. Это десктопное приложение: оно устанавливается на компьютер и использует его ресурсы, а не облачные мощности.

Чем Screaming Frog отличается от Яндекс Вебмастера

Вебмастер показывает, что о сайте думает поисковая система: какие страницы в индексе, какие ошибки она нашла. Screaming Frog показывает фактическое состояние сайта прямо сейчас, включая страницы, до которых поиск ещё не дошёл. Инструменты дополняют друг друга.

Сколько страниц может обойти программа

В платной версии лимит на количество URL снят, реальное ограничение — оперативная память компьютера. Для сайтов от нескольких десятков тысяч страниц предусмотрен режим хранения данных на диске вместо памяти.

Нужен ли Screaming Frog, если сайт небольшой

Для сайта на 20–50 страниц бесплатной версии достаточно, и разовый обход имеет смысл: битые ссылки, дубли title и случайный noindex встречаются на сайтах любого размера.

Проводим технический аудит и выводим сайты в топ — поисковое продвижение сайтов. Смежное: что проверять при SEO-аудите, что такое SEO-продвижение.