Индексация сайта: как проверить и что делать, если страниц нет в поиске
Индексация — включение страницы в базу поисковой системы, после которого она может показываться в результатах поиска. Пока страница не проиндексирована, её позиций не существует: ранжировать нечего.
Это первый шаг любой работы с поиском и самая частая причина ситуации «сделали страницу, а трафика нет». Ниже — как устроен процесс, как проверить свою страницу и что делать, если её нет в поиске.
Обход, индексация, ранжирование
Три этапа, которые постоянно смешивают в один.
- Обход (краулинг). Робот приходит на страницу и скачивает её содержимое.
- Индексация. Система разбирает содержимое и решает, добавлять ли страницу в базу. Скачал — не значит добавил.
- Ранжирование. Из проиндексированных страниц выбирается та, что покажется по запросу.
Между первым и вторым этапом теряется больше всего страниц: робот их видел, но счёл недостаточно ценными. Поэтому «робот заходил» и «страница в поиске» — разные утверждения, и проверять надо второе.
Как проверить за минуту
- Оператор site: в поисковой строке —
site:вашсайт.ру/адрес-страницы. Грубая, но мгновенная проверка. - Яндекс Вебмастер — раздел со страницами в поиске и инструмент проверки конкретного адреса. Здесь же видно, почему страница исключена.
- Google Search Console — проверка адреса показывает статус и дату последнего обхода.
- Обход краулером — если проверить нужно тысячу страниц разом, помогает Screaming Frog.
Вебмастер и Search Console — единственные источники, показывающие точку зрения самого поиска. Всё остальное — косвенные признаки.
Восемь причин, по которым страница не в поиске
- Запрет в robots.txt. Правило, добавленное на время разработки и забытое после запуска, — классика.
- Метатег noindex. Часто ставится шаблоном CMS для служебных страниц и случайно распространяется на нужные.
- Канонический адрес указывает на другую страницу. Поиск считает её главной, а вашу — дублем.
- Нет ссылок на страницу. Робот попадает на страницы по ссылкам; страница-сирота может не найтись месяцами. Именно поэтому важна перелинковка и карта сайта.
- Дубль существующей страницы. Одинаковое содержимое по разным адресам — в базу попадает одна.
- Мало содержания. Страница из трёх строк и шаблонного текста может быть признана малоценной.
- Сервер отвечает ошибками. Робот не смог скачать — ошибки 5xx.
- Молодой домен. Новому сайту всё даётся медленнее — продвижение молодого сайта.
Порядок проверки именно такой: первые три причины закрываются за пять минут и объясняют большинство случаев.
Как ускорить
- Отправить адрес на переобход в Вебмастере и Search Console. У обоих есть суточная квота.
- Обновлять sitemap.xml и указывать в нём дату последнего изменения.
- Поставить ссылки на новую страницу из уже индексируемых разделов — это самый естественный путь для робота.
- Не тратить бюджет обхода на мусор: служебные адреса, сортировки, бесконечные комбинации фильтров. Разбор — SEO интернет-магазина.
- Держать сайт быстрым. Чем быстрее отдаются страницы, тем больше робот успевает за визит.
Когда страницы, наоборот, надо закрывать
Индексация не самоцель: лишние страницы в базе размывают сайт и тратят бюджет обхода. Закрывают обычно корзину и оформление заказа, личный кабинет, страницы поиска по сайту, служебные и технические адреса, сортировки и постраничную навигацию, дубли с параметрами.
Важная тонкость: запрет в robots.txt и метатег noindex работают по-разному. Первый просит не обходить страницу, второй — не включать её в базу. Страница, закрытая только в robots.txt, но имеющая внешние ссылки, иногда всё равно попадает в выдачу — без описания. Чтобы гарантированно убрать страницу из поиска, нужен noindex, а обход при этом должен быть разрешён, иначе робот не увидит сам запрет.
Коротко
- Индексация — включение страницы в базу поиска; без неё позиций не существует.
- Обход, индексация и ранжирование — три разных этапа; «робот заходил» не равно «страница в поиске».
- Проверяют через Вебмастер и Search Console — только они показывают точку зрения поиска.
- Частые причины: запрет в robots.txt, noindex, чужой канонический адрес, отсутствие ссылок.
- Ускоряют переобходом, обновлением sitemap и ссылками с индексируемых страниц.
- robots.txt запрещает обход, noindex — попадание в базу; для удаления из поиска нужен второй.
Приводим техническую базу в порядок и следим, чтобы нужные страницы попадали в поиск, — поисковое продвижение сайтов.