Страницы не индексируются: почему это происходит и что делать

«Страница не индексируется» — это три разные проблемы с разными решениями: робот до неё не дошёл, дошёл и не взял, или взял, а потом выбросил. Первым делом нужно понять, какая из трёх, — иначе лечение не совпадёт с болезнью. Определяется это за пять минут в панелях вебмастеров.

Это вторая по частоте тема в чате сообщества после накрутки поведенческих: за два года её поднимали больше сотни раз. Разбираем по порядку.

Три состояния, которые путают

Разница принципиальная. В первом случае бесполезно переписывать текст: его никто не видел. В третьем бесполезно отправлять на переобход: робот и так заходит, его не устраивает сама страница.

Как проверить индексацию

Четыре способа, от быстрого к точному:

1. Запрос site: в поиске. site:вашсайт.ру/адрес-страницы в Яндексе и Google. Способ грубый: он показывает, есть страница в поиске или нет, но не говорит почему.
2. Яндекс Вебмастер. Раздел «Индексирование → Страницы в поиске» — что сейчас в индексе; «Статистика обхода» — что робот скачивал и с каким ответом; «Проверить статус URL» — состояние конкретного адреса.
3. Google Search Console. Отчёт «Индексирование страниц» с группировкой причин и «Проверка URL» для отдельного адреса — там же видно, когда робот заходил и что получил.
4. Логи сервера. Последняя инстанция: приходил ли робот физически и что ему ответили. Панели показывают картину с задержкой, логи — как есть.

Начинать стоит со второго и третьего пункта: они сразу называют причину словами, и дальше остаётся её проверить.

Робот не дошёл: почему

• На страницу нет ссылок. Самая частая причина у новых разделов. Робот ходит по ссылкам, и страница без входящих для него не существует — карта сайта это лишь подсказка, а не замена ссылкам. Как раскладывать разделы и связывать их между собой — в разборе структуры сайта.
• Запрет в robots.txt. Классика после релиза: тестовый запрет уехал на боевой сайт. Важно помнить, что файл управляет обходом, а не индексированием, — подробности и частые заблуждения в разборе robots.txt.
• Страница не попала в карту сайта или карта устарела и наполовину состоит из несуществующих адресов.
• Сервер отвечает ошибкой или слишком медленно. Таймауты и пятисотые робот воспринимает как «сайт недоступен» и снижает частоту обхода.
• Обход тратится на мусор. Фильтры, сортировки, страницы поиска и бесконечная пагинация съедают ресурс, который должен был уйти на новые страницы. На крупных сайтах это главная причина.
• Страница доступна только после действия: за формой, по кнопке «показать ещё», через скрипт без обычной ссылки в разметке.

Дошёл, но не взял: почему

Самая обидная группа: страница открыта, робот её видел, а в поиск не берёт. Причины почти всегда в содержании.

• Нечего индексировать. Страница с заголовком и парой строк не отвечает ни на один вопрос. Поисковики прямо называют такие страницы малополезными.
• Это дубль. Есть другая страница с тем же смыслом, и выбран не ваш адрес. Разбор — в статье про дубли и канонические адреса.
• Canonical указывает на другую страницу. Иногда так и задумано, иногда шаблон проставляет его автоматически и неверно.
• Метатег robots с noindex — остаток от разработки или настройка плагина.
• Страница не отвечает на запрос, под который сделана. В выдаче по нему стоят материалы другого типа, и ваша страница в эту выдачу не вписывается. Как это проверять до написания — в разборах семантического ядра и текстовой релевантности.
• Soft 404. Страница сообщает «ничего не найдено», а сервер отвечает кодом успеха; подробнее — в разборе ошибок 404.

Была в индексе и выпала

Здесь важно сначала отделить случайность от закономерности: единичные колебания нормальны, выпадение раздела целиком — нет.

• Что-то изменилось на сайте. Релиз, выгрузка каталога, смена шаблона. Сравните дату выпадения с датами работ — это закрывает большинство случаев.
• Переезд или смена адресов без постраничных перенаправлений. Порядок такой операции — в разборе смены структуры URL.
• Страница стала хуже отвечать на запрос, чем конкуренты: содержание устарело, а у других обновилось.
• Санкции. Проверяются в обеих панелях, и это первое, что стоит исключить; что бывает и как снимается — в разборе фильтров и санкций.
• Технические поломки: страница начала отдавать ошибку, стала недоступной роботу или уехала под авторизацию.

Что делать: по шагам

1. Определите состояние по панелям: не обошли, не взяли или выбросили.
2. Исключите техническое: код ответа 200, нет запрета в robots.txt, нет noindex, canonical указывает сам на себя.
3. Проверьте ссылки на страницу внутри сайта. Нет ни одной — это и есть причина в большинстве случаев с новыми разделами.
4. Посмотрите на страницу глазами: отвечает ли она на вопрос, ради которого сделана, и чем отличается от соседних.
5. Сравните с выдачей по целевому запросу: тот ли тип страницы там стоит.
6. Отправьте на переобход — но только после первых пяти шагов, иначе робот придёт и снова ничего не возьмёт.
7. Дайте время и смотрите динамику, а не отдельные дни.

Сколько ждать

Переобход отдельной страницы после отправки в панели обычно занимает от нескольких часов до нескольких дней. Попадание в поиск — дольше: на молодом сайте недели, на сайте с историей быстрее.

Разумный горизонт для выводов — две-три недели после того, как причина устранена. Если за это время ничего не изменилось, значит дело не в скорости обхода, а в содержании или в технике, и надо возвращаться к первым пяти шагам.

Чего делать не нужно

Если не индексируется сайт целиком

Отдельный случай и обычно простой. Проверьте по порядку: сайт отдаёт 200 и доступен роботам; в robots.txt нет общего запрета; нет метатега noindex в шаблоне; домен подтверждён в обеих панелях; карта сайта добавлена и не содержит закрытых адресов; сайт не под санкциями; нет остатков тестового окружения — закрытого поддомена, базовой авторизации, запрета по адресам.

На новом сайте к этому добавляется время: первые страницы попадают в поиск обычно за одну-две недели, полный обход занимает дольше.

Проверка индексации входит в обычный SEO-аудит и делается там первым блоком — именно потому, что без неё остальные выводы строятся на песке.

Частые вопросы

Как проверить индексацию сайта?

Быстро — запросом site:вашсайт.ру в Яндексе и Google. Точно — в Яндекс Вебмастере («Индексирование → Страницы в поиске») и Google Search Console (отчёт «Индексирование страниц»): там видно не только сколько страниц в поиске, но и почему остальные туда не попали.

Почему страница не индексируется?

Причин три группы: робот до неё не дошёл (нет ссылок, запрет в robots.txt, недоступность сервера), дошёл и не взял (мало содержания, дубль, canonical на другую страницу, noindex) или взял и выбросил (изменения на сайте, санкции, поломки). Сначала определяется группа, потом лечится причина.

Что значит «просканирована, но не проиндексирована»?

Что робот страницу видел и решил не брать в поиск. Это сигнал о содержании, а не о технике: страница либо почти пустая, либо повторяет другую вашу страницу, либо не отвечает на запрос, под который сделана. Отправлять её на переобход бесполезно, пока она не изменилась.

Сколько времени занимает индексация новой страницы?

От нескольких часов до нескольких недель. На сайте с историей и регулярными обновлениями робот заходит часто, и страница попадает в поиск быстро. На новом сайте первые страницы появляются обычно за одну-две недели. Повторные отправки на переобход этот срок не сокращают.

Почему страницы выпали из индекса?

Чаще всего из-за изменений на самом сайте: релиза, выгрузки каталога, смены шаблона или адресов. Сопоставьте дату выпадения с датами работ — это объясняет большинство случаев. Если совпадений нет, проверьте санкции в обеих панелях и доступность страниц для робота.

Помогает ли отправка на переобход?

Помогает, когда причина уже устранена: робот придёт раньше, чем сам. Не помогает, когда страница закрыта, пуста или дублирует другую — он придёт и снова её не возьмёт. Поэтому переобход — последний шаг, а не первый.

Нужно ли закрывать от индексации мусорные страницы?

Да, если их много: фильтры, сортировки, страницы поиска по сайту и лишняя пагинация тратят обход, который нужен новым страницам. Но важно понимать разницу: запрет в robots.txt управляет обходом, а убирает из индекса метатег noindex на доступной роботу странице.

Влияет ли скорость сайта на индексацию?

Да, косвенно: медленные ответы и таймауты снижают частоту обхода, и новые страницы попадают в поиск дольше. Это одна из немногих ситуаций, где скорость важна сама по себе, а не ради позиций; что именно чинить — в разборе скорости загрузки.

Главное об индексации

Фраза «страница не индексируется» описывает три разные ситуации, и лечатся они по-разному: если робот не дошёл, нужны ссылки и доступность; если дошёл и не взял — содержание; если выбросил — надо искать, что изменилось. Поэтому первый шаг всегда один: открыть панели и посмотреть, что именно написано про этот адрес. Переобход отправляется последним, когда причина уже устранена, — иначе робот придёт и снова ничего не возьмёт.

← Все материалы