Экспертиза

Терминология индексации: Submitted, Crawled, Indexed, Stable

Терминология индексации: Submitted, Crawled, Indexed, Stable
Содержание

Когда один сервис пишет «индексируем 80% URL за 3 дня», а другой — «индексируем 80% URL», это может быть про совершенно разные точки воронки. Первый посчитал долю от Crawled, второй — от Submitted. Разница между этими цифрами в реальности — иногда 2-кратная. Ниже — рабочий словарь, который нужен, чтобы читать такие цифры правильно и самому проверять статус любого URL по шагам.

Воронка индексации

Submitted → Accepted → Crawled → Indexed → Stable Indexed → Ranking

На каждом переходе часть URL отваливается по своей причине. Диагностика начинается с вопроса «на каком именно переходе застряла страница», а не «проиндексирована она или нет».

По темеЧек-лист перед индексацией сайта: что реально проверяют Google, Яндекс и Bing

Submitted — отправлено

URL передан поисковику одним из способов: sitemap.xml, IndexNow API, ручная отправка в Search Console, сторонний сервис-индексатор.

Как проверить у себя: Google Search Console → раздел «Файлы Sitemap» → смотри колонку «Обнаруженные URL». Для ручной отправки — Search Console → «Проверка URL» → вставь адрес → кнопка «Запросить индексирование». В Яндекс.Вебмастере — «Индексирование → Переобход страниц».

Типичная ошибка: страница есть в sitemap, но sitemap не переотправлен после последнего обновления. Проверка: открой sitemap.xml в браузере, найди свой URL и <lastmod> рядом — если дата старая, поисковик может не знать об обновлении вообще. Подробнее о том, как проводить диагностику, см. Почему страница не попала в индекс: диагностика по шагам, а не наугад .

По темеСтабильный индекс vs временный: как проверять по-настоящему, а не за 24 часа

Accepted — принято API

HTTP 200/202 от API поисковика или сервиса на сам факт отправки.

Что не значит: обработки ещё не было. В документации IndexNow прямо написано, что 200 — это «получили», а не «проиндексировали».

Где теряются URL между Submitted и Accepted: неверный ключ/токен, превышение дневной квоты API, домен в запросе не совпадает с доменом ключевого файла. Проверка одной командой:

curl -IL https://your-domain.ru/page-url/

Смотри итоговый код (200, а не 301/302/404/500) и заголовок X-Robots-Tag — если там noindex, никакой сервис индексации эту страницу не протолкнёт дальше, сколько бы заявок ни отправил.

По темеПочему Google не поддерживает IndexNow и как это обходить

Crawled — бот реально зашёл

Googlebot/YandexBot/Bingbot прочитал HTML, title, meta, canonical, контент страницы.

Где смотреть:

  • Google Search Console → «Проверка URL» (URL Inspection) → строка «Последнее сканирование» с датой.
  • Яндекс.Вебмастер → «Индексирование → Страницы в поиске» → фильтр по статусам.
  • Серверные логи, фильтр по user-agent Googlebot/YandexBot.

Практический сценарий. URL висит в статусе «Обнаружено, в настоящее время не проиндексировано» (Discovered — currently not indexed) три недели подряд. Это значит: поисковик знает про URL, но ни разу не выделил краулинговый бюджет на визит. Причины по частоте: (1) сайт большой и малоавторитетный — бюджета не хватает на глубокие страницы; (2) URL не связан внутренними ссылками с уже проиндексированными разделами — проверь через «сайт:домен ключевые слова страницы», есть ли путь до неё по ссылкам; (3) страница в самом низу sitemap без приоритета. Действие: добавь ссылку с уже проиндексированной страницы раздела, подними URL выше в sitemap, и уже после этого имеет смысл подключать сервис ускорения обхода — вручную гонять непроиндексированный URL бесполезно, если бот физически до него не доходит. Подробнее о статусе Discovered — currently not indexed: Google нашёл страницу, но пока не зашёл: что делать со статусом Discovered - currently not indexed .

Между Accepted и Crawled теряется самая большая доля URL на любом сайте — это нормально, не «сломанная индексация».

Indexed — страница в выдаче

Страница показывается поисковиком по релевантным запросам в момент проверки.

Как проверить:

  • Запрос site:домен/путь-страницы в Google — если страница выходит первой строкой, она в индексе.
  • Search Console → «Проверка URL» → статус «URL is on Google» / «Страница находится в Google».
  • Яндекс.Вебмастер → статус «В поиске».

Практический сценарий. Crawled есть (дата сканирования свежая), а статус в GSC — «Просканировано, в настоящее время не проиндексировано» (Crawled — currently not indexed). Бот страницу видел и осознанно не взял в индекс. Первое, что проверяется: открой страницу, Ctrl+U → посмотри <title> и первый абзац контента — не дубль ли это другой страницы сайта почти слово в слово (частая причина у PBN и товарных карточек с шаблонным описанием). Второе: soft 404 — страница физически отдаёт 200 OK, но по факту пустая или «товар не найден» текстом. Проверяется тем же curl -IL (код 200) плюс ручным просмотром контента — робот делает то же самое и делает вывод «пользы нет». Если и то и другое чисто — смотри объём уникального текста: у Google есть внутренний порог «этого мало, чтобы отличаться от соседних страниц».

Stable Indexed — страница держится

Страница остаётся в индексе спустя 14–30 дней после первого попадания.

Как проверять: повторяй site: запрос или «Проверка URL» через 7, 14 и 30 дней после первой индексации — не один раз.

Практический сценарий. Страница попала в индекс на 2-й день, а на 10-й день выпала — это index decay. Частые причины: страница создана после массового ускорения индексации без реальной ссылочной массы и трафика (поисковик «попробовал», не увидел спроса, убрал); либо страница — дубль/почти-дубль другой, и алгоритм консолидации выбрал канонической другую версию задним числом. Проверка: Search Console → «Проверка URL» → блок «Индексирование» → строка «Пользовательская каноническая страница» — если там указан не тот URL, который ты отправлял, вот и причина.

Ranking — трафик по факту

Все технические и качественные сигналы сошлись, страница приводит переходы из поиска.

Где смотреть: Search Console → «Эффективность» → фильтр по конкретному URL, колонки «Показы» и «Клики». Яндекс.Вебмастер → «Поисковые запросы».

Между Stable Indexed и Ranking — это уже вопрос SEO целиком (ссылки, конкуренция, E-E-A-T), не индексации. Сервис индексации здесь бессилен по определению — не покупайте у него обещания позиций.

Что реально делает сервис индексации

Индексаторы работают на этапах Submitted → Accepted → Crawled, иногда влияют на Indexed за счёт того, что чаще приводят бота на страницу. На Stable Indexed и тем более Ranking сервис не влияет никак — это зона контента и ссылочного профиля.

Когда сервис заявляет «80% индексации», требуй уточнение знаменателя:

Что имеется в видуНасколько это ценно
80% от SubmittedПочти ничего — просто приняли заявку
80% от CrawledРеальный визит бота, уже интересно
80% от Indexed (день 1-3)Хорошо, но неизвестно, останется ли
80% от Stable Indexed (день 30)Единственная цифра, на которую можно опираться

Как тестировать сервис индексации на практике

Ручная проверка site: по одному URL нормально работает для 5–10 страниц. Если тестируешь пакет из 50–200 URL (свой сайт или прогон бэклинков), вручную это займёт день. Для массовой сверки статуса по списку URL удобнее аудит-инструмент вроде Rush Analytics — загружаешь список адресов и получаешь таблицу по факту индексации, а не гоняешь site: вручную по одному.

Если проверяешь именно индексатор как сервис (для ускорения прохождения этапов Submitted → Crawled → Indexed на своих страницах или на бэклинках), возьми контрольную группу URL и прогони через сам сервис — например SpeedyIndex — с фиксацией даты отправки, и сверяй по шаблону отчёта ниже на 3-й, 14-й и 30-й день. Так видно честную конверсию сервиса, а не рекламную цифру с сайта. Подробнее о построении теста см.: Как правильно тестировать сервис индексации: чек-лист, статусы GSC и шаблон отчёта .

Когда страница дошла до Stable Indexed и вопрос смещается в сторону позиций и трафика, это уже не тест индексатора, а SEO-трекинг — здесь пригодится SerpHunt для регулярного снятия позиций по нужным запросам.

Шаблон отчёта по тесту

Из 100 URL:
  Submitted: 100 (все отправлены)
  Accepted: 100 (API принял все)
  Crawled через 3 дня: 78
  Indexed через 3 дня: 52
  Indexed через 14 дней: 47
  Stable Indexed через 30 дней: 41

Как читать это на практике:

  • Crawled/Submitted < 60% → проблема на стороне доступности сайта: проверь robots.txt, редиректы, коды ответа через curl -IL, авторитетность домена (краулинговый бюджет).
  • Indexed/Crawled < 60% при высоком Crawled → проблема в качестве контента: дубли, soft 404, тонкий текст — сервис индексации тут не поможет, дело в странице.
  • Stable/Indexed падает больше чем на 15–20% → index decay: смотри каноникал в Search Console и наличие реального спроса/ссылок на страницу.

Такое разделение по этапам сразу показывает, что чинить — доступность сайта, контент страницы или ожидания от сервиса.

Связанные термины — короткий справочник

  • Soft 404 — страница отдаёт 200 OK, но фактически пустая. Останется на этапе Crawled, до Indexed не дойдёт.
  • Crawled, currently not indexed — статус GSC: бот был, в индекс не взял.
  • Discovered, currently not indexed — статус GSC: поисковик знает про URL, ещё не сканировал.
  • Index decay — выпадение из индекса со временем, обратное Stable Indexed.

Держи под рукой эту воронку при любом разговоре про «процент индексации» — и с сервисами, и с подрядчиками, и при собственной диагностике сайта.