Экспертиза

Noindex и nofollow: как правильно применять и не терять индексацию

Noindex и nofollow: как правильно применять и не терять индексацию
Содержание

Статья:

Путаница между noindex и nofollow стоит сайтам реального трафика. Разберём не теорию, а конкретные действия: где ставить, как проверить, что делать, если сигнал сработал не так, как задумано.

Коротко: noindex — команда «не показывай эту страницу в выдаче». Nofollow — команда «не передавай вес по этой ссылке и не особо доверяй тому, куда она ведёт». Первый сигнал про страницу целиком, второй — про конкретную ссылку. Их можно комбинировать, но чаще всего в этом и рождаются ошибки.

Как поставить noindex — два рабочих способа

Meta-тег в <head>:

<meta name="robots" content="noindex">

HTTP-заголовок (для PDF, картинок, файлов без HTML):

X-Robots-Tag: noindex

Заголовок ставится на уровне сервера или CDN — например, правилом в Nginx (add_header X-Robots-Tag noindex; в location) или через Page Rules/Transform Rules в Cloudflare. Это единственный способ закрыть от индекса файл, куда meta-тег не вставить.

Как проверить, что сработало именно так:

curl -IL https://site.ru/page/

Смотрите на строку X-Robots-Tag в ответе. Если её нет — заголовок не отдаётся, и дело не в нём. Для meta-тега — Ctrl+U (просмотр исходного кода) и поиск по robots в тексте. Если тега нет в исходном коде, но он есть в отрендеренном DOM (добавлен через JS) — это ненадёжно: Googlebot иногда не успевает выполнить скрипт до принятия решения об индексации. Тег должен быть в исходном HTML, а не только в DOM после рендера.

По теме2index.ninja: разбор с примерами по Search Console — как проверить, работает ли индексатор

Частая ловушка: noindex закрыт в robots.txt

Если URL заблокирован в robots.txt, бот вообще не зайдёт на страницу — а значит, не увидит meta noindex внутри неё. Итог парадоксальный: страница годами торчит в индексе, потому что Google один раз её проиндексировал раньше, а теперь не может зайти и убедиться, что она должна уйти. В отчёте Search Console это выглядит как статус «Проиндексировано, хотя и заблокировано файлом robots.txt». Подробнее о том, как распутать такой статус, читайте в статье Indexed, though blocked by robots.txt: как найти причину и вычистить статус в 2026 году .

Что делать: снимите блокировку в robots.txt для этого URL, оставьте meta noindex открытым для сканирования — бот зайдёт, прочитает тег и снимет страницу с индекса за один‑два обхода. Закрывать в robots.txt нужно только то, что не должно быть отсканировано вообще (например, служебные параметры фильтров), а не то, что нужно убрать из выдачи.

По темеИндексация бэклинков в 2026: как проверить статус ссылки и добить её до индекса

Где ставится nofollow и его подвиды

<a href="https://example.com" rel="nofollow">пример</a>

С 2019 года у Google три атрибута вместо одного:

АтрибутКогда использовать
rel="nofollow"Общий случай, когда не хотите ручаться за ссылку
rel="sponsored"Реклама, партнёрские ссылки, любые платные размещения
rel="ugc"Ссылки в комментариях, отзывах, форумах — пользовательский контент

Для аффилиат-блока правильная разметка — rel="sponsored nofollow" (можно комбинировать через пробел). Просто nofollow без sponsored на партнёрских ссылках — формальное нарушение правил Google Search Essentials, хотя на практике санкций за это отдельно почти не бывает. Но если сайт участвует в партнёрских программах и проходит проверку (например, у крупных CPA‑сетей), отсутствие sponsored иногда всплывает при разборе жалоб.

Nofollow сегодня — это подсказка, а не жёсткая директива: Google вправе всё равно передать часть веса, если сочтёт ссылку релевантной. Поэтому nofollow не панацея от «слива» веса — если внутренний раздел сайта весь размечен nofollow, это не блокирует индексацию страниц, на которые он ведёт, а просто ослабляет сигнал.

Чек-лист: когда ставить noindex

  • Корзина, оформление заказа, «спасибо за заявку» — не несут ценности в выдаче.
  • Страницы фильтров без уникального контента (?color=red&size=42) — обычно проще решить через canonical, но если комбинаций тысячи и они всё равно попадают в индекс — добавляйте noindex.
  • Тонкий контент, который пока не готовы переписать. Временная мера, не постоянная — вернитесь к странице через 2–3 месяца.
  • Пагинация архивов (/blog/page/7/) без своего уникального смысла.
  • Тестовые/staging‑поддомены — закрывайте на уровне сервера через X-Robots-Tag, а не полагайтесь на пароль или robots.txt (staging почти всегда рано или поздно утекает в индекс).

Реальный сценарий: после редизайна сайта staging‑версия (staging.site.ru) была проиндексирована с полным дублем контента. Причина — забыли снять X-Robots-Tag: noindex при переносе на прод, и он случайно остался и там. Проверяется одной командой curl -IL по паре ключевых URL сразу после деплоя — включите это в чек‑лист релиза.

Чек-лист: когда ставить nofollow/sponsored/ugc

  • Любая ссылка, за которую вам платят или которую вы поставили в обмен на оплату — sponsored.
  • Комментарии, гостевые посты пользователей, отзывы — ugc.
  • Ссылка на ресурс, которому вы не доверяете, но убрать не можете (например, обязательный юридический referral) — nofollow.
  • Обычные внутренние ссылки навигации, хлебных крошек, ссылки в теле статьи на свои же материалы — никогда не nofollow. Это самая частая ошибка новых редакторов: закрывают nofollow «на всякий случай» половину внутренней перелинковки и сами обрезают себе распределение веса по сайту.

Сценарий из практики: страница висит в «Обнаружено, но не проиндексировано»

Если статья 3+ недели висит в Search Console в статусе «Обнаружено, не проиндексировано» — это НЕ про noindex. Этот статус означает, что Google знает об URL, но пока не счёл нужным его сканировать и индексировать — обычно из‑за низкого приоритета страницы или ограничений краулингового бюджета. Порядок действий:

  1. Проверьте через URL Inspection в Search Console, что на странице нет случайного noindex (иногда CMS или плагин ставят его автоматически для новых черновиков).
  2. Проверьте внутреннюю перелинковку — есть ли на страницу хотя бы 2–3 ссылки с уже проиндексированных разделов сайта. Сироты без входящих ссылок индексируются в разы дольше.
  3. Если страниц с таким статусом много одновременно (после запуска нового раздела или миграции), не проверяйте вручную по одной — прогоните весь список URL через массовую проверку индексации в Rush Analytics: загружаете список, получаете статус по каждому URL сразу, без ручного клика по URL Inspection на каждую страницу.
  4. Если статус не сдвигается 4+ недели и внутренние ссылки на месте — используйте индексатор для внешнего сигнала (это ускоряет обход, а не гарантирует индексацию): например SpeedyIndex или IndexMeNow для точечной прокачки конкретных URL.

Отдельная история — статус «Страница является копией. Google не выбрал её как каноническую». Здесь причина обычно не noindex, а конфликт canonical: у вас на странице указан canonical на другой URL или Google счёл контент дублем. Noindex тут не решение — решение в правильной настройке rel="canonical" и устранении дублирующего контента.

Три мифа про noindex, которые дорого стоят

  • «Noindex = страница мгновенно исчезнет из Google». Нет — сигнал применится при следующем обходе. Если страница давно в индексе и получает мало трафика бота, снятие может занять от нескольких дней до нескольких недель. Ускорить обход можно через инструменты индексации (см. выше), но само удаление из индекса — решение алгоритма, а не сервиса.
  • «Noindex экономит краулинговый бюджет». Нет — бот всё равно заходит на страницу, чтобы прочитать тег, и только потом решает не индексировать. Экономия бюджета — это про robots.txt и архитектуру сайта (устранение бесконечных фасетных URL), а не про noindex.
  • «Noindex + canonical на одной странице — это нормально усиление». Нет — это конфликтующие сигналы: «не индексируй» и «а если всё же будешь — вот правильный адрес». Оставляйте что‑то одно: либо canonical на дубле без noindex, либо noindex без canonical на технической странице.

Как проверить статус по конкретному URL

Google Search Console: Проверка URL (URL Inspection) → вставьте адрес страницы → блок «Покрытие индексом». Ищите формулировки: «Страница проиндексирована», «Исключено тегом noindex», «Проиндексировано, хотя и заблокировано файлом robots.txt» — каждая формулировка требует разного действия, не одного и того же «подождать».

Яндекс.Вебмастер: раздел «Индексирование» → «Проверить статус URL». Аналогичный статус называется «Исключена тегом noindex».

Массовая проверка после релиза или миграции: ручная проверка по одному URL в GSC не масштабируется дальше 5–10 страниц за раз. Для проверки статуса сотен URL сразу (типичная задача после смены CMS или редизайна шаблона) используйте Rush Analytics — загружаете список адресов, получаете таблицу со статусами индексации по всем сразу, без ручных кликов.

Nofollow и проверка доноров перед проставлением ссылки

Если вы решаете, какой атрибут ставить на исходящую ссылку — nofollow, sponsored или оставить dofollow — для внешних доноров сначала стоит проверить их траст и спам‑показатели, а не полагаться на глазомер. Экспресс‑проверка через Checktrust показывает трастовость и спам‑метрики донора до того, как вы решите ставить ссылку и с каким атрибутом — так меньше шансов случайно передать вес токсичному ресурсу через забытый dofollow.

Итоговая таблица

ТерминЧто делаетГде ставитсяЧастая ошибка
noindexУбирает страницу из выдачиmeta‑тег или X‑Robots‑TagЗакрыт заодно в robots.txt — бот его не увидит
nofollowНе передаёт вес по ссылкеатрибут rel у <a>Ставят на внутренние ссылки навигации
sponsoredПомечает платное размещениеатрибут rel у <a>Забывают добавить на партнёрские ссылки, оставляя только nofollow
ugcПомечает пользовательский контентатрибут rel у <a>Путают с sponsored на обычных комментариях
robots.txtУправляет обходом, не индексациейфайл в корне доменаДумают, что блокировка = удаление из индекса
canonicalУказывает основной URL при дубляхmeta‑тег или HTTP‑заголовокСтавят вместе с noindex на одной странице

Дополнительные материалы: Почему Google не индексирует сайт: причины и решения , Почему Google не поддерживает IndexNow и как это обходить , Rapid URL Indexer: обзор pay-per-result индексатора и как проверить его результат самому , Индексация страниц сайта в 2026: пошаговый план, статусы GSC и когда нужны платные сервисы .