Файлы И Заголовки

Индексация PDF: проверка X-Robots-Tag в HTTP-заголовках

Кратко Для PDF основным сигналом запрета служит HTTP-заголовок X-Robots-Tag. Директива noindex должна возвращаться именно для URL документа. …