每隔一段时间，您的网站的某些部分最好不要被搜索引擎索引。 API 调用、搜索结果页面、PDF 文档——所有在当前用户之外可能没有价值的响应示例。 不，我们都知道我们可以向搜索引擎发出信号，不要使用 META 标签，但通常服务电话和文件并没有得到奢侈 META 标签。 幸运的是，您可以添加一个标题来防止这些响应被索引。

标题名称是 X-Robots-Tag 使用您喜欢的服务器端语言应该很容易添加。 例如，使用 PHP 添加此标头可能如下所示：

header('X-Robots-Tag: noindex');

如果您使用的是基于 Django 的 python 站点，则可能如下所示：

response['X-Robots-Tag'] = 'noindex'

此标头也可以在您的 .htaccess 或 httpd 配置文件中设置：

<Files ~ ".pdf$">
Header set X-Robots-Tag "noindex"
</Files>

事实是，不能保证您的服务器服务的内容不会被搜索引擎索引，但是像这样的小调整可以确保您的搜索引擎地位可以提高，并且用户不会找到“死”您网站的部分的方式通过搜索引擎。