Руководства

Страница выпала из индекса: как найти причину за 10 минут и вернуть её обратно

Страница выпала из индекса: как найти причину за 10 минут и вернуть её обратно
Содержание

Страница выпала из индекса не потому, что «Google так решил» — у выпадения всегда есть конкретный триггер, и в 90% случаев его видно за пару кликов в Search Console или Вебмастере. Ниже — не теория, а порядок действий: что открыть первым, на какую строчку в отчёте смотреть, что делать в зависимости от того, что там написано.

Кратко: что делать прямо сейчас

  • Открой Google Search Console → Проверка URL (URL Inspection), вставь адрес страницы, посмотри блок «Покрытие». Если статус «Страница не проиндексирована» — читай причину дословно, там всегда написан конкретный код, а не общая фраза.
  • В Яндекс.Вебмастере → Индексирование → Страницы в поиске (или «Исключённые страницы») найди тот же URL и сравни причину исключения — она часто отличается от гугловской, поэтому диагностировать нужно в обеих системах отдельно.
  • Если причина техническая (noindex, robots.txt, 5xx, редирект) — чинишь и жмёшь «Запросить индексирование» в GSC. Возврат обычно занимает от нескольких дней до 2 недель.
  • Если причина в качестве контента («Просканировано, currently not indexed») — правки кода не помогут, нужно дописывать текст, добавлять уникальные данные и внутренние ссылки на страницу.
  • Если выпал не один URL, а десятки сразу — не проверяй их вручную по одному, прогони список через Rush Analytics: сервис за один проход отдаёт статус индексации по всему списку URL и группирует по причине.
По темеGoogle просканировал страницу, но не проиндексировал: пошаговый разбор статуса «Crawled - currently not indexed»

7 причин, из-за которых страница пропадает из выдачи

  1. Технический запрет. Кто-то (чаще разработчик после релиза) случайно оставил noindex в мета-теге или закрыл раздел в robots.txt.
  2. Ошибки сервера. Бот несколько раз подряд получил 5xx или таймаут — страницу помечают нестабильной и убирают из выдачи до следующей успешной проверки.
  3. Каноникализация не туда. rel="canonical" указывает на другой URL (частая история в интернет-магазинах с фильтрами и UTM-параметрами) — робот считает страницу дублем.
  4. Тонкий контент (Thin Content). Страницу проиндексировали «авансом», но при повторном пересчёте признали бесполезной — обычно это карточки без текста, теговые страницы, шаблонные лендинги.
  5. Алгоритмические обновления. После Core Update или Helpful Content Update вымывает не отдельные страницы, а целые кластеры — если упало сразу 20-30 URL одной тематики, это не совпадение.
  6. Потеря входящих ссылок / токсичный профиль. Страница держалась на паре внешних ссылок, которые исчезли или были признаны спамными после закупки дешёвых прогонов.
  7. Страница-сирота (orphan page). На неё физически не ведёт ни одна внутренняя ссылка — бот не может её переобойти и со временем выкидывает из базы.
По темеGoogle нашёл страницу, но пока не зашёл: что делать со статусом Discovered - currently not indexed

Технические причины: чинятся за дни, не за недели

Это самый простой сценарий — ответ всегда лежит в коде страницы или логах сервера, гадать не нужно.

Шаг 1. Смотри исходный код. Открой страницу, нажми Ctrl+U, ищи по Ctrl+F строку noindex. Если тег есть — убирай его в CMS (в WordPress это чаще всего чекбокс Yoast/RankMath «Discourage search engines», в кастомной CMS — шаблон head.php).

Шаг 2. Проверь HTTP-статус. Команда:

curl -IL https://ваш-домен.ru/страница/

Смотри итоговый код после всех редиректов. 404/410 — страница действительно удалена, и если это не так, восстанавливай контент по старому адресу. 500/503 — проблема на сервере или хостинге, смотри логи (/var/log/nginx/error.log или панель хостера), это не SEO-задача, а инфраструктурная.

Шаг 3. Проверь robots.txt. Открой https://ваш-домен.ru/robots.txt, найди строки Disallow, которые могут перекрывать раздел. В GSC есть отдельный инструмент «robots.txt Tester» — он показывает, заблокирован ли конкретный URL правилом.

Шаг 4. Проверь canonical. В том же Ctrl+U ищи rel="canonical". Если ссылка ведёт не на саму страницу, а на другой URL (часто — на страницу без параметров фильтра) — это осознанное решение фронтенда или баг шаблона категории. Если баг — правь шаблон, а не одну страницу, иначе через месяц выпадет следующая партия карточек.

ПричинаГде смотретьСрок возврата после фикса
Тег noindexИсходный код (Ctrl+U)3–7 дней после «Запросить индексирование»
robots.txt Disallowrobots.txt Tester в GSC3–10 дней
Ошибка 500/503Логи сервера / хостинг-панельОбычно в течение недели после фикса
Неверный canonicalURL Inspection → раздел «Индексирование»1–3 недели

После фикса не жди пассивно — вручную отправь URL на переобход через «Запросить индексирование» в GSC. Для пачки исправленных страниц (например, после массового бага в шаблоне) быстрее прогнать список через индексатор бэклинков и страниц вроде SpeedyIndex — он умеет проталкивать конкретные URL в обход естественного ожидания краула.

По темеТерминология индексации: Submitted, Crawled, Indexed, Stable

Причины качества: чинятся неделями, не кодом

Если технически всё чисто (200-й код, нет noindex, canonical на себя), а страница всё равно в статусе «Обнаружено, не проиндексировано» или «Просканировано, не проиндексировано» — это оценка качества, и тут не поможет ни один технический фикс.

Пример из практики. Карточка товара: 40 слов уникального текста, остальное — таблица характеристик, скопированная у производителя один в один на сотнях сайтов. Статус в GSC: «Duplicate, Google chose different canonical than user». Решение — не трогать canonical руками, а дописать 300-400 слов уникального контента (отзывы, сравнение с аналогами, ответы на частые вопросы), потому что для Google эта страница физически неотличима от тысяч таких же.

Страницы-сироты. Проверь у себя: если страница не выводится ни в одном меню, ни в футере, ни в блоке «похожие материалы» — на неё не ведёт ни одна внутренняя ссылка, кроме sitemap.xml. Один только sitemap не гарантирует переобход. Добавь минимум 2-3 внутренние ссылки с релевантных страниц с человеческим анкором (не «подробнее», а с ключевой фразой).

Токсичный ссылочный профиль. Если на страницу резко пришла партия дешёвых прогонов (форумы, комментарии, каталоги без модерации), а потом она вылетела — проверь донорские ссылки через Checktrust: сервис показывает траст и спам-балл каждого донора, и если там массово красный список — эти ссылки стоит снимать или дизавуировать, а не наращивать новые поверх токсичных.

Как диагностировать по шагам (не по одной позиции в выдаче)

Падение позиции — не то же самое, что выпадение из индекса. Страница может уйти на 80-е место и остаться в индексе. Не делай выводов «по ощущениям», смотри инструменты.

Google Search Console: Проверка URL → вставь адрес → блок «Индексирование». Если написано «URL is not on Google», разворачивай подпункты «Сканирование» (Crawl) и «Индексирование» (Indexing allowed) — там указана точная причина, а не общая формулировка.

Яндекс.Вебмастер: раздел Индексирование → «Страницы в поиске» и «Исключённые страницы». Смотри не только текущий статус, но и историю по конкретному URL — если страница «прыгает» туда-обратно каждую неделю, это обычно проблема с доступностью сервера для ботов конкретного региона (Yandex ходит и из РФ, и из-за рубежа), а не с контентом. Проверь логи сервера на User-Agent YandexBot — если запросы от него массово получают таймаут, а от обычных браузеров нет, дело в правилах фаервола или в настройках защиты от ботов на Cloudflare (в настройках Bot Fight Mode иногда режет легитимных краулеров вместе со спам-ботами — отключи для верифицированных User-Agent).

Decision-tree: что делать по порядку, а не хаотично

  1. HTTP-код. 4xx/5xx → чини код ответа, отправляй на переобход. 200 → шаг 2.
  2. Мета-теги. Есть noindex или X-Robots-Tag: noindex в заголовках ответа? Убирай, жди. Canonical смотрит не туда? Правь шаблон, если это массовая проблема, а не единичная страница.
  3. Статус в Search Console:
    • «Исключено вручную» (Manual Action) → читай раздел «Меры, принятые вручную» в GSC, там указана конкретная причина (например, «Неестественные ссылки»), подавай запрос на пересмотр только после реального устранения причины.
    • «Просканировано, не проиндексировано» → контент признан малоценным, добавляй уникальность, факты, данные.
    • «Обнаружено, не проиндексировано» → проблема с краулинговым бюджетом или общим трастом сайта — сюда же попадают новые сайты с малым числом переходов от роботов.
  4. Уникальность и ссылки. Текст скопирован (в том числе с другой страницы того же сайта — внутренний дубль тоже считается)? Переписывай. Текст уникален, но страница всё равно висит? Добавь внутренние ссылки с релевантным анкором и хотя бы одну внешнюю авторитетную ссылку по теме.

Частая ситуация, которую пропускают. Вебмастер меняет структуру URL (например, убирает .html из адресов при переезде на новый движок) и забывает настроить 301-редирект со старых адресов на новые. Итог: старая страница выпадает, новая не заходит месяцами, потому что у неё нет накопленной истории и внешних ссылок — они все ведут на старый URL. Проверка простая: curl -IL на старый адрес должен отдавать 301 на новый, а не 200 или 404.

Когда страницу лучше не трогать

Если выпал не один URL, а целый раздел одновременно, и ты ничего не менял на сайте — подожди 48-72 часа. Часто это отставание в обновлении данных панелей во время крупных обновлений алгоритма, а не реальное выпадение. Проверь через прямой поиск site:домен.ru/путь-к-странице — если страница находится в выдаче, а в GSC ещё показывает старый статус, значит это просто задержка отображения отчёта.

Чего точно не делать

  • Не удаляй страницу и не пересоздавай её на новом адресе — это обнуляет накопленную историю, робот начинает оценку с нуля, а старый URL всё равно нужно будет редиректить.
  • Не закупай резко пачку ссылок на выпавшую страницу — для алгоритма это выглядит как попытка манипуляции и может усугубить ситуацию вместо того, чтобы её исправить.
  • Не меняй Title и H1 каждые пару дней, пытаясь угадать формулировку запроса — частые правки метаданных сами по себе не ускоряют переиндексацию, а без стабильного сигнала алгоритму сложнее «привыкнуть» к странице.
  • Не закрывай весь сайт от индексации, чтобы «перезапустить» — это не перезагружает индекс, а просто убирает сайт из выдачи на время закрытия и заново на общих основаниях после открытия.

Отдельный случай — выпадение из-за жалобы по DMCA. Такая страница не вернётся, пока не оспоришь претензию через официальную форму Google, никакие технические правки здесь не работают.

Мини-план на регулярной основе

Чтобы не ловить выпадения постфактум, раз в 1-2 недели прогоняй список ключевых URL сайта через массовую проверку статуса индексации — например, через Rush Analytics или связку GSC API + свои скрипты, если URL немного. Это дешевле, чем разбирать причину выпадения через месяц, когда позиции уже потеряны, а конкуренты заняли освободившееся место в выдаче.