Экспертиза

Как проверить, видит ли поисковый робот JavaScript-контент после клика

Материал показывает проверку JavaScript-контента после клика: сравнение HTML и рендеринга, поиск сбоя и выбор следующего шага. Практический план действий.

Как проверить, видит ли поисковый робот JavaScript-контент после клика
Содержание

JavaScript-контент, который появляется только после клика, может быть доступен посетителю, но не поисковому роботу: робот может не выполнить действие, запускающее загрузку. Проверь отдельно исходный HTML, поведение страницы в браузере и результат поискового рендеринга. Это поможет понять, где содержимое появляется, но само по себе не докажет, что оно уже попало в поиск.

Кратко

  • Зафиксируй, какой именно текст или элемент появляется после клика.
  • Сравни исходный HTML, страницу без JavaScript и страницу после действия.
  • Проверяй рендеринг отдельно для Google и Яндекса, не считая браузерное отображение доказательством.
  • Если важный контент требует клика, рассмотри автоматическую загрузку или готовый HTML.
По темеИндексация JavaScript: как сравнить HTML до и после отрисовки→

Что считать контентом, который появляется только после клика

Для начала определи, что именно должен увидеть робот: текст, ссылку, карточку или другой блок. Сравни страницу до действия и после него. Если нужного элемента сначала не видно, а после клика он появляется, это показывает, что его отображение связано с действием; по этому наблюдению нельзя заключить, что сама загрузка контента зависит от клика.

Различай исходный HTML и отрендерированную страницу. Исходный HTML — ответ, который сервер передаёт при запросе. Отрендерированная страница — результат обработки HTML и выполнения JavaScript. Одно и то же содержимое может отсутствовать в первом и появляться во втором.

Само появление блока после клика не показывает, запустило ли действие загрузку: наблюдение подтверждает лишь, что блок стал видим после нажатия. Для проверки зафиксируй, что видно до клика и что изменилось после него.

1
Открой страницу и запиши, какого текста, ссылки или блока пока нет.
2
Нажми на элемент, который, предположительно, запускает загрузку.
3
Сравни страницу до и после действия: появился ли новый материал, изменилась ли ссылка или только оформление уже видимого блока.

Если контент добавляется только после действия, поисковый робот может не выполнить именно это действие. Поэтому то, что блок виден посетителю после нажатия, ещё не говорит о его доступности поиску. Не устанавливай причину по одному наблюдению: отсутствие текста до клика подтверждает зависимость от действия, но не объясняет, каким способом блок можно сделать доступным без него.

Веди простую запись: какой элемент проверяешь, что доступно до действия и какой результат получаешь после. Так ты не смешаешь текст, который уже был на странице, с тем, что добавил скрипт.

Как сравнить исходный HTML и страницу в браузере

Сравни три состояния: исходный HTML, страницу с отключённым JavaScript и страницу после загрузки скриптов и клика. Они помогают увидеть, когда появляется содержимое, но не заменяют проверку поискового рендеринга.

В исходном HTML проверь, есть ли нужный текст и ссылки до выполнения JavaScript. Если элемента там нет, это ещё не доказывает, что поисковик его не увидит: поисковые системы могут обрабатывать JavaScript. Но если контент зависит от скрипта, нужно выяснить, появляется ли он после рендеринга и не требует ли для этого действия человека.

Затем временно отключи JavaScript в браузере и открой ту же страницу. Исчезновение блока показывает зависимость от клиентского кода и помогает определить, какой контент не отдаётся без него. Такая проверка не воспроизводит точное поведение Google или Яндекса: версия страницы в браузере без JavaScript не равна результату обработки поисковым роботом.

Наконец, включи JavaScript, дождись отображения страницы и нажми на нужный элемент. Сопоставь результаты:

Состояние страницыЧто зафиксировать
Исходный HTMLЕсть ли в нём проверяемый текст или ссылка.
Браузер без JavaScriptСохранился ли элемент без выполнения скриптов.
Браузер с JavaScript, до кликаПоявился ли контент автоматически после загрузки.
Браузер после кликаЧто изменилось после действия: добавился ли контент или открылся уже имеющийся.

Такое сравнение показывает зависимость от кода и действия. Оно не показывает точную версию, которую получил поисковый робот. Не делай вывод об индексации только по содержимому исходного HTML или по тому, что ты видишь в обычном браузере.

💡
Совет
Записывай наблюдения отдельно для каждого элемента. Формулировка «текст есть на странице» недостаточна: укажи, был ли он в исходном HTML, появился ли без клика или загрузился только после действия.

Если текст исчезает без JavaScript, а в исходном HTML его нет, следующий вопрос — доступен ли он после поискового рендеринга. Если он не появляется даже в браузере после клика, сначала нужно разбираться с работой самой страницы: поисковая проверка не объяснит, почему контент не загружается посетителю.

По темеСтраница доступна роботу, но не найдена в поиске: как проверить индексацию→

Как проверить доступность содержимого при поисковом рендеринге

Проверяй Google и Яндекс раздельно. То, что один поисковик может обработать JavaScript или показать нужное содержимое после рендеринга, не подтверждает такой же результат для другого.

Для Яндекса можно сверить, какой режим рендеринга выбран в Яндекс Вебмастере: Индексирование → Рендеринг страниц JavaScript. По умолчанию установлено «На усмотрение робота Яндекса»: робот сам решает, выполнять ли JavaScript на странице. Справка Яндекс Вебмастера о JavaScript-рендеринге описывает эту настройку. Это информация о режиме обработки сайта, а не подтверждение, что конкретный робот выполнил нужный клик на конкретной странице.

Для Google тоже отделяй обработку JavaScript от появления страницы в поиске. Google может индексировать контент, появившийся после выполнения JavaScript, но это не означает, что любой контент после клика обязательно будет загружен и проиндексирован. В переданных материалах нет точной последовательности проверки отрендерированной страницы в инструментах Google. Поэтому не приписывай конкретному интерфейсу или отчёту результат, который не проверял.

Сопоставь ожидаемое содержимое с тем, что показывает доступная проверка рендеринга. Если текст виден после обработки страницы, это подтверждает доступность содержимого в проверенном представлении. Отдельно отмечай, подтверждено ли его присутствие в поиске: рендеринг и индексация — разные этапы, и первое не доказывает второе.

Что удалось установитьЧто это позволяет заключить
Контент есть в браузере после кликаОн показывается посетителю после действия.
Контент появился в проверенном результате рендерингаОн доступен в этом проверенном представлении.
Контент обнаружен в поискеЕсть признак его присутствия в поиске; это отдельная проверка.

Не делай вывод об индексации по одной проверке доступности. Если содержимое в поисковом представлении не видно, это также не устанавливает причину: нужно проверить саму страницу, загрузку нужных ресурсов и зависимость от действия. Для точной проверки клика роботом в переданных материалах нет описанной процедуры, поэтому результат не стоит трактовать как доказательство того, что робот нажал или не нажал кнопку.

Как локализовать сбой между кликом, скриптом и ресурсом

Отсутствие контента — наблюдение, а не готовый диагноз. Причиной может быть обязательный клик, ошибка JavaScript, недоступный ресурс или навигация, построенная без обычной ссылки. Проверяй эти варианты по отдельности.

  • Текст появляется только после клика. Зафиксируй, что именно запускает действие и какой элемент добавляется. Это указывает на зависимость от клика, но не доказывает сбой скрипта.
  • Текст не появляется и после клика. Проверь, работает ли сценарий в браузере и загружается ли нужный контент. Возможные проблемы включают ошибку JavaScript или недоступность ресурса, от которого зависит загрузка. Само отсутствие результата не позволяет выбрать между этими объяснениями.
  • Переход запускается обработчиком события. Проверь, есть ли у навигационного элемента обычный адрес в href. Если переход реализован только через onclick или роутер без href, поисковый робот может не считать его ссылкой, по которой можно перейти.
  • В браузере элемент доступен, но в проверенном рендеринге его нет. Сопоставь, требует ли его получение действия и доступны ли необходимые для загрузки ресурсы. Не объявляй конкретный ресурс причиной, пока это не установлено проверкой.
✓ Запиши, что именно отсутствует: текст, ссылка или блок.
✓
✓ Сравни результат до и после клика в браузере.
✓
✓ Проверь, появляется ли тот же элемент после выполнения JavaScript без действия.
✓
✓ Убедись, что навигация использует href, если элемент должен вести на другую страницу.
✓
✓ Сопоставь результат с проверкой поискового рендеринга для нужной системы.

Если проверка не выявила, почему контент отсутствует, не заменяй неизвестную причину догадкой. Вернись к конкретному элементу: воспроизводится ли его появление в браузере, возникает ли ошибка при загрузке и зависит ли результат от клика. Затем сравни именно этот элемент с результатом рендеринга, а не оценивай страницу целиком по тому, что она выглядит исправной для посетителя.

Какие варианты загрузки уменьшают зависимость от клика

Если текст важен для поискового обнаружения, безопаснее не делать его получение обязательным следствием клика. Источник рекомендует, чтобы важный контент присутствовал в HTML либо загружался автоматически, без требования отдельного действия человека. Это не обещание индексации: такой вариант уменьшает зависимость от клика, но не подтверждает результат поиска.

Варианты зависят от того, как устроена страница. При клиентской отрисовке контент может появляться после выполнения JavaScript. При серверной отрисовке (SSR) готовый HTML формируется до отображения страницы в браузере; пререндеринг тоже может отдавать заранее подготовленную HTML-версию. Выбирай не по названию технологии, а по проверяемому результату: доступен ли нужный текст без клика и совпадает ли он с ожидаемым содержимым.

Для Яндекса отдельно проверь настройку рендеринга JavaScript в Вебмастере. Если на сайте реализован SSR или пререндеринг, Яндекс советует запретить дополнительный рендеринг JavaScript. Если контент на сайте загружается с задержкой, Яндекс позволяет сообщить об этом специальным JavaScript-кодом: на таких страницах создают объект window.YandexRotorSetting, который должен обрабатываться до события DomContentLoaded. Подробности приведены в справке Яндекс Вебмастера о JavaScript-рендеринге . Не включай настройку только потому, что сайт использует JavaScript: сначала установи, какой вариант рендеринга уже реализован и что должен получить робот.

Контент только после клика
Получение важного текста зависит от действия пользователя; робот может его не выполнить.
VS
Контент в HTML или автоматически
Важный текст доступен без обязательного клика, в HTML или после автоматической загрузки.

Проверка после изменения должна отвечать на тот же вопрос, что и первоначальная: появился ли конкретный текст в ожидаемом представлении без клика? Снова сравни исходный HTML, состояние браузера и доступный результат поискового рендеринга. Если текст стал видим без действия, это подтверждает изменение поведения страницы; присутствие в поиске проверяется отдельно.

Условный разбор блока «Показать ещё»

Условные входные данные: до нажатия кнопки «Показать ещё» текста нет; после нажатия он появляется. Это пример для разбора, а не результат проведённого теста. Если текст важен, такая зависимость означает, что робот может не выполнить действие, которое его загружает.

Сначала проверь, как блок ведёт себя без клика: присутствует ли текст в исходном HTML или появляется автоматически после выполнения JavaScript. Затем сравни состояние после клика. Так ты установишь, зависит ли получение текста именно от действия, а не просто от загрузки скриптов.

Если обязательный клик — единственный способ получить важный текст, рассмотри вариант с автоматической загрузкой или выдачей содержимого в HTML. После изменения повтори сравнение и проверь, появился ли ожидаемый текст без нажатия. Отдельно сопоставь его с результатом поискового рендеринга для нужной системы.

1
До изменения запиши, что видно в исходном HTML и в браузере до клика.
2
Если важный текст появляется только после нажатия, убери обязательную зависимость от действия: предусмотренная альтернатива — выдавать контент в HTML или загружать его автоматически.
3
После изменения проверь, доступен ли тот же текст без клика и появился ли он в проверенном результате рендеринга.

Если после изменения текст всё ещё отсутствует, не считай автоматически, что виноват рендеринг или настройки поисковой системы. Снова проверь поведение страницы: появляется ли текст в браузере, загружаются ли необходимые ресурсы и есть ли ошибка JavaScript. Итоговая запись должна разделять два результата: доступен ли блок при рендеринге и найден ли он в поиске.

Источники

По темеПочему Googlebot не загружает JavaScript: CSP, robots.txt и CDN→