Статус «Indexed, though blocked by robots.txt» в Google Search Console означает, что поисковый робот обнаружил URL через внешние или внутренние ссылки, но не смог просканировать содержимое страницы из-за запрещающей директивы в файле robots.txt. В результате страница попадает в индекс и поисковую выдачу без описания (snippet), что снижает CTR и негативно сказывается на качестве представления сайта. Для полного удаления такой страницы из индекса необходимо временно разрешить её обход и использовать тег noindex.
Механика возникновения статуса
Многие вебмастеры ошибочно полагают, что файл robots.txt управляет индексацией сайта. В действительности этот файл регулирует только сканирование (crawling). Когда Googlebot видит ссылку на ваш ресурс с другого сайта или из другой части вашего домена, он знает о существовании этого URL. Если в robots.txt стоит запрет (Disallow), робот не заходит внутрь страницы, но добавляет адрес в индекс на основе данных из анкоров ссылок.
В результатах поиска такие страницы выглядят неинформативно. Вместо текста описания пользователь видит надпись: «Информация о странице недоступна» или «Описание не отображается из-за robots.txt». Это происходит потому, что Google не смог прочитать содержимое тегов <title> и <meta name="description">. Помимо эстетической проблемы, это создает технический шум: в индекс попадают служебные страницы, фильтры или технические дубли, которые не несут ценности для пользователя.
Почему robots.txt не подходит для сокрытия страниц
Главное заблуждение — использовать директиву Disallow для удаления страницы из выдачи. Если страница уже была проиндексирована до того, как вы добавили запрет в robots.txt, она останется в индексе. Google просто перестанет обновлять информацию о ней.
Более того, если страница не проиндексирована, но запрещена в robots.txt, она всё равно может появиться в поиске. Инструкции Google Search Central четко указывают: если вы хотите, чтобы страница гарантированно отсутствовала в поиске, поисковый робот должен иметь к ней доступ, чтобы увидеть на ней запрещающий метатег или HTTP-заголовок. Закрывая страницу в robots.txt, вы фактически «запираете» её в индексе, не давая боту увидеть команду на удаление.
Как исправить статус и удалить страницу из индекса
Чтобы корректно убрать URL из выдачи и избавиться от предупреждения в Search Console, необходимо выполнить три последовательных шага.
1. Снятие блокировки в robots.txt
Временно удалите правило Disallow для нужного URL или раздела в файле robots.txt. Это необходимо, чтобы Googlebot смог зайти на страницу и прочитать её актуальные метатеги. Если доступ закрыт, робот не узнает о ваших дальнейших действиях по деиндексации.
2. Установка тега noindex
Разместите в блоке <head> страницы следующий метатег:
<meta name="robots" content="noindex, follow">
Альтернативный вариант для не-HTML файлов (например, PDF или изображений) — использование HTTP-заголовка X-Robots-Tag: noindex. Это дает поисковой системе четкую команду: «Эту страницу нельзя хранить в результатах поиска».
3. Переобход и повторная блокировка
Дождитесь, пока Google просканирует страницу. Ускорить процесс можно через инструмент проверки URL в Google Search Console, отправив запрос на индексирование. Как только отчет покажет, что страница исключена из индекса по причине «Excluded by ‘noindex’ tag», вы можете снова вернуть запрет в robots.txt (хотя часто в этом уже нет необходимости).
Работа с инструментом URL Inspection
При проверке конкретного URL со статусом «Indexed, though blocked by robots.txt» в Search Console вы увидите детальный отчет. В блоке «Coverage» (Покрытие) будет указано, что индексация разрешена, но сканирование запрещено.
Google дополнительно предоставит ссылку на инструмент проверки robots.txt. Обратите внимание на пункт «Detected script or other techniques». Если страница содержит важный контент, который вы не планировали скрывать, проверьте, не блокирует ли robots.txt критически важные файлы CSS или JS, необходимые для рендеринга. Иногда статус появляется ошибочно из-за слишком агрессивных правил, закрывающих папки с ресурсами.
Использование Removals Tool в Search Console
Если страницу нужно убрать из выдачи немедленно, воспользуйтесь инструментом «Removals» (Удаления) в Google Search Console.
Важные правила использования этого инструмента:
- Это временное решение (срок действия около 6 месяцев).
- Инструмент скрывает URL из поиска, но не удаляет его из базы Google навсегда.
- Если за 6 месяцев вы не настроите
noindexили не отдадите код 404/410, страница вернется в выдачу.
Это полезно для быстрой очистки индекса от конфиденциальных данных или страниц, созданных по ошибке, пока вы готовите полноценное техническое решение на стороне сервера.
Исключения: когда статус можно игнорировать
В редких случаях статус «Indexed, though blocked by robots.txt» не требует немедленного вмешательства. Это касается технических URL, которые случайно попали в индекс, но не конкурируют с основными страницами и не расходуют значительный краулинговый бюджет. Однако для поддержания «гигиены» сайта и обеспечения высокого качества сниппетов рекомендуется приводить состояние индекса к соответствию с реальной структурой сайта.
Если вы обнаружили тысячи таких предупреждений, это явный сигнал о проблеме в архитектуре: ссылки на закрытые от обхода разделы (например, корзина, личный кабинет, результаты внутреннего поиска) активно транслируются в коде сайта. В этом случае правильным решением будет не только настройка noindex, но и замена прямых ссылок на теги, не передающие вес, или реализация навигации через скрипты, невидимые для ботов.