仅当网页未明确阻止搜索引擎抓取工具编入索引时,搜索引擎才能在搜索结果中显示这些网页。某些 HTTP 标头和元标记会告知抓取工具不应将某个网页编入索引。
仅针对您不想显示在搜索结果中的内容阻止 Google 将其编入索引。
Lighthouse 索引编制审核如何失败
Lighthouse 标记了搜索引擎无法编入索引的网页:
Lighthouse 仅检查阻止所有搜索引擎抓取工具的标头或元素。例如,以下 <meta>
元素会阻止所有搜索引擎抓取工具(也称为漫游器)访问您的网页:
<meta name="robots" content="noindex"/>
此 HTTP 响应标头还会阻止所有抓取工具:
X-Robots-Tag: noindex
您可能还会使用 <meta>
元素来阻止特定抓取工具,例如:
<meta name="Googlebot" content="noindex"/>
Lighthouse 不会通过审核此类抓取工具专用指令,但它们仍可能使您的网页更难被发现,因此使用它们时应格外小心。如果特定于抓取工具的指令阻止了常见的索引编制漫游器,Lighthouse 将发出一条警告。
如何确保搜索引擎可以抓取您的网页
首先,请确保您希望搜索引擎将该网页编入索引。某些网页(如站点地图或合法内容)通常不应编入索引。(请注意,如果用户知道网页网址,则阻止编入索引不会阻止用户访问网页。)
对于您要编入索引的网页,请移除会阻止搜索引擎抓取工具的所有 HTTP 标头或 <meta>
元素。根据您设置网站的方式,您可能需要执行以下部分或全部步骤:
- 如果您设置 HTTP 响应标头,请移除
X-Robots-Tag
HTTP 响应标头:
X-Robots-Tag: noindex
- 如果网页标头中有以下元标记,请将其移除:
<meta name="robots" content="noindex">
- 如果网页标头中出现特定抓取工具,请避免使用会屏蔽特定抓取工具的元标记。例如:
<meta name="Googlebot" content="noindex">
添加其他控件(可选)
您可能希望更好地控制搜索引擎将网页编入索引的方式。例如,您可能不希望 Google 将图片编入索引,但确实希望将网页的其余部分编入索引。
如需了解如何针对特定搜索引擎配置 <meta>
元素和 HTTP 标头,请参阅以下指南:
资源
- “网页已被禁止编入索引”审核的源代码
- Google 的 Robots 元标记和 X-Robots-Tag HTTP 标头规范
- Bing 的漫游器元标记
- Yandex 的使用 HTML 元素