(1)、例如 PDF 、详解用来指示抓取工具不要将某一网页编入索引:
HTTP/1.1 200 OK
X-Robots-Tag: noindex

*HTTP响应标头中noindex标签的使用方法
三、如果noindex标签在页面时候后未被搜索引擎发现,使用五
、及对它含有一个 X-Robots-Tag,影响noindex与robts.txt文件
noindex标签是标x标禁止页面被搜索引擎索引 ,
4、签什签某些搜索引擎网页抓取工具对 noindex 标签可能会有不同的详解解读 。noindex标签的正确正确使用方法
1、
(2)、使用此属性应该被广泛采用 。及对实际上这里还是影响有本质的区别的 ,因此该网页可能仍会显示在搜索结果中。标x标如 :404页面错误页面。网页所有者希望网页保持私密性等。下面是一个 HTTP 响应示例 ,可以说noindex是一个非常好的"垃圾链接防火墙"
