只有在这些网页无法显示时,搜索引擎才会在搜索结果中显示这些网页 明确阻止搜索引擎抓取工具将其编入索引。某些 HTTP 标头和元 标记用于告知抓取工具某个网页不应编入索引。
仅屏蔽您不希望在搜索结果中显示的内容。
Lighthouse 索引编制的审核未通过的原因
Lighthouse 标志页面 搜索引擎无法编入索引的内容:
![Lighthouse 审核结果显示搜索引擎无法将您的网页编入索引](https://developer.chrome.google.cn/static/docs/lighthouse/seo/is-crawlable/image/lighthouse-audit-showing-7e7f828021977.png?authuser=1&hl=bg)
Lighthouse 仅检查会屏蔽所有搜索引擎的标头或元素
抓取工具。例如,下面的 <meta>
元素会阻止所有搜索引擎
抓取工具(也称为漫游器)访问您的网页:
<meta name="robots" content="noindex"/>
此 HTTP 响应标头还会阻止所有抓取工具:
X-Robots-Tag: noindex
您可能还有一些会屏蔽特定抓取工具的 <meta>
元素,例如:
<meta name="Googlebot" content="noindex"/>
Lighthouse 不会通过此类针对抓取工具专用指令的审核,但 仍然会使您的网页更难被发现,因此请谨慎使用。Lighthouse 将会向 如果特定于抓取工具的指令屏蔽了常见的索引编制漫游器,则发出警告。
如何确保搜索引擎可以抓取您的网页
首先,请确认您希望搜索引擎将该网页编入索引。某些网页(例如 站点地图 或合法内容,通常不应编入索引。(请注意 编入索引不会阻止知道网址的用户访问。)
对于您希望编入索引的网页,请移除所有 HTTP 标头或 <meta>
元素
阻止搜索引擎抓取工具。根据您设置网站的方式
您可能需要执行以下部分或全部步骤:
- 如果您设置了 HTTP,请移除
X-Robots-Tag
HTTP 响应标头 响应标头:
X-Robots-Tag: noindex
- 如果网页标头中出现以下元标记,请将其移除:
<meta name="robots" content="noindex">
- 避免使用会拦截特定抓取工具的元标记(如果这些标记存在于 标题。例如:
<meta name="Googlebot" content="noindex">
添加其他控件(可选)
您可能希望更好地控制搜索引擎将您的网页编入索引的方式。例如: 也许您不想让 Google 将图片编入索引,但又希望网页的其余部分 编入索引。
有关如何配置 <meta>
元素和 HTTP 的信息
标头,请参阅以下指南:
资源
- 审核网页已被禁止编入索引的源代码
- Google 的漫游器元标记和 X-Robots-Tag HTTP 标头规范
- Bing 的漫游器元标记
- Yandex 的使用 HTML 元素