Экспертиза

Как отличить обнаруженный URL от просканированного и проиндексированного

Материал объясняет разницу между обнаружением URL, сканированием и индексацией, показывает статусы Search Console и сравнивает версии страницы. Сверьте статус.

Как отличить обнаруженный URL от просканированного и проиндексированного
Содержание

Проверяй три этапа отдельно: обнаружение означает, что Google узнал об URL; сканирование — что робот изучил страницу; индексация — что страницу добавили в индекс. Один этап не подтверждает автоматически следующий.

В Google Search Console для этого есть отчёт об индексировании и инструмент проверки URL. Смотри на формулировку статуса: она показывает, что именно известно о странице, а не просто отвечает «есть ли она в поиске».

Кратко

  • Обнаруженный URL ещё не обязательно просканирован роботом Google.
  • Сканирование страницы не означает, что её добавили в индекс.
  • Проверка URL показывает статус и возможность индексирования страницы.
  • Индексная проверка и анализ опубликованной страницы могут дать разные сведения.
  • Дубли, перенаправления и ошибки доступа требуют отдельного прочтения статуса.

Обнаружение, сканирование и индексация — разные этапы работы с URL

Сначала Google должен обнаружить URL. Затем робот может просканировать страницу, а после этого Google оценивает её и решает, добавлять ли в индекс. Поэтому слова «обнаружена», «просканирована» и «проиндексирована» описывают разные события.

ЭтапЧто он означаетЧего он сам по себе не подтверждает
ОбнаружениеGoogle узнал о существовании URL. Один из возможных сигналов — адрес страницы в карте сайта.Что робот уже открыл страницу или включил её в индекс.
СканированиеРобот изучил страницу. В статусе это может быть указано отдельно от индексации.Что страницу добавили в индекс.
ИндексацияGoogle добавил страницу в индекс после её оценки.Что страница обязательно появится по любому запросу или будет показываться постоянно.

Представь страницу, адрес которой есть в карте сайта. Это помогает понять, почему URL мог быть обнаружен, но само по себе не говорит, что робот уже просканировал страницу. Если статус сообщает о сканировании, это тоже ещё не означает, что страница попала в индекс.

Зачем разделять этапы? Чтобы не записать обнаруженный адрес как проиндексированный и не принять факт сканирования за итог. Для отчёта о конкретном URL фиксируй именно показанный статус: например, «обнаружена, не проиндексирована» или «просканирована, но не проиндексирована».

🎯
Ключевой вывод
Обнаружение — это сведения о URL, сканирование — о работе робота со страницей, индексация — о её добавлении в индекс. Не подменяй один этап другим.
По темеПочему Google не индексирует страницу: навигатор по статусам Search Console→

Как проверить статус URL в Google Search Console

Чтобы узнать статус конкретной страницы, выбери инструмент проверки URL. Отчёт об индексировании и проверка отдельного адреса отвечают на связанные, но не одинаковые задачи: первый помогает смотреть статусы URL в отчёте, второй — получить сведения о конкретной странице.

Проверить URL можно в Google Search Console только для принадлежащего тебе ресурса. Инструмент позволяет узнать статус индексирования и возможность индексирования. Подробное описание его возможностей дано в справке Search Console об инструменте проверки URL .

Удобный порядок проверки такой:

1
Выбери в Google Search Console принадлежащий тебе ресурс, для которого нужно проверить страницу.
2
Открой отчёт об индексировании, если нужно увидеть статусы URL в отчёте.
3
Проверь конкретный адрес инструментом проверки URL и зафиксируй показанный статус и сведения о возможности индексирования.

В отчёте обращай внимание не только на то, есть ли URL среди обработанных или отправленных страниц, но и на конкретную формулировку статуса. Для отдельного адреса сопоставь её со сведениями инструмента проверки URL. Не своди результат к одному слову «проверено»: что именно проверено — индекс, опубликованная версия или этап обхода?

Проверка URL относится к конкретному адресу. Не делай по ней вывод о состоянии всех страниц ресурса. Если анализируешь несколько URL, записывай их результаты раздельно, сохраняя статус каждого адреса.

Статус «Обнаружена, не проиндексирована» означает, что страницу ещё не сканировали

Этот статус показывает, что Google обнаружил URL, но ещё не просканировал страницу. Например, адрес мог быть найден в карте сайта. Здесь подтверждено обнаружение, а не чтение содержимого страницы роботом и не добавление её в индекс.

Чтобы не смешать этапы, записывай результат именно как статус обхода:

  • URL обнаружен — Google знает об адресе страницы.
  • Статус: «Обнаружена, не проиндексирована» — страница ещё не просканирована.
  • Индексация — этим статусом не подтверждена.

Почему важно сохранить точную формулировку? Если написать просто «страница не проиндексирована», из записи будет неясно, успел ли робот её просканировать. А если назвать её просканированной, это будет уже другой этап, которого данный статус не подтверждает.

Для рабочего списка достаточно указать URL и показанный статус. Если проверку проводили через отчёт или инструмент, отметь, откуда взято это значение, чтобы позднее сравнить записи по одному и тому же адресу. Не заменяй формулировку своими предположениями о том, что произошло между обнаружением и проверкой.

💡
Совет
Адрес в карте сайта — пример того, как URL может быть обнаружен. Не записывай наличие адреса в карте сайта как доказательство сканирования или индексации.

Статус «Просканирована, но не проиндексирована» не равен обнаружению

Формулировка «Просканирована, но не проиндексирована» сообщает, что страница прошла этап сканирования, но не была добавлена в индекс. Это не то же самое, что «Обнаружена, не проиндексирована»: во втором случае страница ещё не просканирована.

Сопоставь статусы по подтверждённому этапу:

ФормулировкаЧто подтвержденоЧто не подтверждено
«Обнаружена, не проиндексирована»Google обнаружил URL.Сканирование страницы и её добавление в индекс.
«Просканирована, но не проиндексирована»Робот просканировал страницу.Добавление страницы в индекс.
ПроиндексированаСтраница добавлена в индекс.Её показ по конкретному запросу или постоянное присутствие в результатах.

Если в отчёте указан статус о просканированной странице, не записывай результат как «только обнаружена»: он описывает более поздний этап. Но и считать страницу проиндексированной по факту сканирования нельзя. В формулировке должны остаться оба важных сведения: робот страницу просканировал, в индекс она не добавлена.

Что делать, если статус требует объяснения? Сначала сохрани его точное название и не подменяй его диагнозом, который не следует из статуса.

По темеКак отличить повторный обход URL от возвращения страницы в индекс→

Проверка проиндексированной версии и опубликованной страницы

В инструменте проверки URL есть два разных объекта анализа: последняя проиндексированная версия и опубликованная страница. Их результаты могут отличаться, поэтому уточняй, какую именно версию показывает проверка.

Что проверяетсяЧто показывает результат
Проиндексированная версияСведения о последней версии страницы, попавшей в индекс Google.
Опубликованная страницаАнализ текущей опубликованной версии в реальном времени.

Статус в индексе не обязательно отражает изменения, внесённые после последнего сканирования. Если страница с тех пор изменилась или была удалена, сведения о последней проиндексированной версии могут не совпасть с её текущим состоянием.

Проверка опубликованной страницы отвечает на другой вопрос: что анализ показывает для страницы, доступной в интернете сейчас. Это не то же самое, что информация из индекса. Поэтому при сравнении результатов не называй расхождение ошибкой автоматически — сначала проверь, к какой версии относится каждое из них.

Для записи результата укажи, что именно ты проверял: индексную версию или опубликованную страницу. Иначе позднее легко принять сведения о последней проиндексированной версии за описание текущей страницы. Если проверяешь обе, сохраняй результаты отдельно и не смешивай их в одном статусе.

Другие статусы отчёта, которые меняют трактовку URL

Не каждый статус, связанный с отсутствием страницы в индексе, означает, что её просто ещё не просканировали. Отчёт может указывать на дубли, выбранный канонический URL, перенаправление или ошибку доступа. Сверяй формулировку и её категорию.

СтатусКак его понимать
«Обнаружена, не проиндексирована»Google обнаружил URL, но ещё не просканировал страницу.
Вариант страницы с тегом canonicalURL обозначен как копия канонической страницы. Для такого статуса обычно не требуется действие.
Страница является копией, канонический вариант не выбран пользователемGoogle рассматривает URL как копию и не видит выбранного пользователем канонического варианта.
Страница является копией, канонические версии страницы, выбранные Google и пользователем, не совпадаютВыбранный пользователем и определённый Google канонические URL различаются.
Страница является копией, отправленный URL не выбран в качестве каноническогоURL передан, например, через карту сайта, но Google не выбрал его каноническим.
Не найдено (404)URL не найден. Google мог обнаружить его по ссылке или потому, что страница существовала раньше.
Страница с переадресациейURL перенаправляет на другой адрес, поэтому сам этот URL не проиндексирован. Для такого статуса обычно не требуется отдельное действие.
Ложная 404Пользователь видит сообщение о ненайденной странице, но URL не сопровождается кодом 404.
Страница заблокирована из-за ошибки 403Доступ к URL запрещён.
URL заблокирован из-за ошибки 4xxВозникла другая ошибка клиента, не описанная отдельным статусом выше.

Статусы о копиях относятся к выбору канонической страницы, а не просто к тому, успел ли робот обнаружить URL. Например, если каноническим выбран другой адрес, не записывай это как «не просканировано»: статус описывает отношение между страницами и выбранный вариант.

Редирект тоже отличается от статуса обнаружения. В отчёте он означает, что URL перенаправляет на другой адрес и сам не проиндексирован. А для 404, ложной 404, 403 и других 4xx важно сохранить сам тип статуса: они обозначают разные ситуации, а не общий факт «страница отсутствует в индексе».

✓ Сохрани точную формулировку статуса URL.
✓
✓ Отдели обнаружение от сканирования и индексации.
✓
✓ Уточни, относится ли результат к индексной версии или опубликованной странице.
✓
✓ Для копии, перенаправления или ошибки доступа не подменяй категорию статусом обхода.

Начни проверку с конкретного URL и запиши ровно тот этап или категорию, которую показывает Search Console. Это поможет отличить известный Google адрес от просканированной страницы и страницы, добавленной в индекс.

Источники

По темеDiscovered — currently not indexed: что делать→