Sitemap.xml: что это такое и зачем нужна карта сайта
Sitemap.xml — файл со списком адресов сайта, который сообщает поисковым роботам, какие страницы существуют и когда они обновлялись. Это подсказка для обхода, а не команда: наличие адреса в карте не обязывает поиск его проиндексировать.
Ниже — что должно быть в карте сайта, чего в ней быть не должно, какие ошибки встречаются чаще всего и в каких случаях файл действительно решает задачу.
Зачем нужна карта сайта
Робот находит страницы, переходя по ссылкам. Если страница не связана ссылками с остальным сайтом или лежит слишком глубоко, робот может до неё не дойти. Sitemap даёт ему прямой список адресов в обход этой проблемы.
Реальную пользу файл приносит в четырёх случаях: сайт большой и глубоко вложенный; сайт новый и на него почти нет внешних ссылок; часть страниц слабо связана перелинковкой; содержимое обновляется часто, и роботу важно узнавать об этом быстрее.
И наоборот: на небольшом сайте с продуманной перелинковкой, где каждая страница доступна в два-три клика от главной, карта почти ничего не меняет. Это нормально — она не вредит, но и не является тем, с чего начинают.
Что включать в sitemap
Только те страницы, которые вы хотите видеть в поиске. Карта сайта — это заявление о намерениях, и противоречия в ней поиск считывает как признак небрежности.
- Канонические адреса — по одному на страницу, без дублей с параметрами.
- Страницы, отдающие код 200 — рабочие, не редиректы и не ошибки.
- Открытые к индексации — без noindex и без запрета в robots.txt.
- Дату последнего изменения — если она проставляется честно, а не обновляется у всех страниц каждую ночь.
Чего быть не должно: страниц с редиректами, ошибок 404 и 5xx, служебных разделов, страниц пагинации и фильтров, дублей и всего, что закрыто от индексации. Отдельно про приоритет и частоту обновления: эти поля поисковые системы фактически игнорируют, тратить время на их простановку смысла нет.
Типичные ошибки
- Карта не обновляется. Сгенерировали один раз год назад — половина адресов уже ведёт в никуда. Файл должен формироваться автоматически.
- Противоречие с robots.txt. Адрес есть в карте и запрещён к обходу — прямой конфликт сигналов.
- Противоречие с canonical. В карте одна версия страницы, canonical указывает на другую.
- Превышение лимитов. Один файл вмещает ограниченное число адресов и имеет ограничение по размеру; при превышении карту делят на несколько и объединяют индексным файлом.
- Отсутствие ссылки на карту. Путь к файлу указывают в robots.txt и добавляют вручную в панели вебмастеров.
Почему карта не гарантирует индексацию
Потому что решение о включении страницы в индекс поиск принимает сам, оценивая её полезность. Sitemap помогает страницу найти, но не делает её достойной индекса.
Типичная ситуация: в карте пять тысяч адресов, в индексе восемьсот. Причина почти никогда не в файле — обычно это страницы-дубли, пустые карточки фильтров или содержимое, которое не отвечает ни на один запрос. Лечится это не картой сайта, а работой со страницами: удалением мусора, объединением дублей и наполнением того, что должно остаться.
Проверять, что реально попало в индекс, нужно в панелях вебмастеров, а не по числу строк в файле. Как обнаружить страницы, которые вообще не должны попадать в карту, — Screaming Frog SEO Spider.
Коротко
- Sitemap.xml — список адресов для поисковых роботов, подсказка для обхода, а не гарантия индексации.
- Пользу приносит на больших, новых и слабо перелинкованных сайтах.
- Включают только канонические страницы, открытые к индексации и отдающие код 200.
- Поля приоритета и частоты обновления поиском фактически не учитываются.
- Главные ошибки — устаревший файл и противоречия с robots.txt и canonical.
- Разрыв между числом адресов в карте и страницами в индексе лечится работой со страницами, а не файлом.
Частые вопросы
Обязателен ли sitemap.xml
Нет, сайт индексируется и без него. Он заметно помогает крупным, новым и плохо перелинкованным сайтам; маленькому сайту с хорошей структурой даёт мало.
Где должен лежать файл sitemap
Обычно в корне сайта по адресу /sitemap.xml. Путь указывают в robots.txt отдельной строкой и дополнительно добавляют файл в панелях вебмастеров.
Чем sitemap.xml отличается от карты сайта для пользователей
Sitemap.xml — машинный файл для роботов. HTML-карта сайта — обычная страница со ссылками для людей. Первое влияет на обход, второе — на навигацию и перелинковку.
Как часто обновлять sitemap
Автоматически при каждом изменении состава страниц. Ручное обновление раз в квартал почти всегда приводит к тому, что в карте оказываются удалённые адреса.
Приводим техническую часть сайта в порядок и выводим страницы в топ — поисковое продвижение сайтов.