除非搜尋引擎檢索器未明確封鎖已建立索引的網頁,否則搜尋引擎只能在搜尋結果中顯示這些網頁。部分 HTTP 標頭和中繼標記會告知檢索器不要為網頁建立索引。
只封鎖不希望出現在搜尋結果中的內容編入索引。
Lighthouse 索引稽核失敗原因
Lighthouse 標記了搜尋引擎無法建立索引的網頁:
Lighthouse 只會檢查會封鎖「所有」搜尋引擎檢索器的標頭或元素。舉例來說,下列 <meta>
元素會禁止所有搜尋引擎檢索器 (又稱為漫遊器) 存取你的網頁:
<meta name="robots" content="noindex"/>
這個 HTTP 回應標頭也會封鎖所有檢索器:
X-Robots-Tag: noindex
您可能也有 <meta>
元素會封鎖特定檢索器,例如:
<meta name="Googlebot" content="noindex"/>
Lighthouse 不會稽核這類檢索器專用的指令,但仍可能導致網頁難以找到,因此請謹慎使用。如果檢索器專用的指令封鎖了通用的索引機器人,Lighthouse 就會發出警告。
如何確保搜尋引擎能檢索您的網頁
首先,請確認你想讓搜尋引擎建立網頁索引。部分網頁 (例如 Sitemap 或法律內容) 通常不應建立索引。(請注意,封鎖索引並無法禁止使用者透過知道網址的網頁存取網頁)。
如要建立索引的網頁,請移除所有會封鎖搜尋引擎檢索器的 HTTP 標頭或 <meta>
元素。視網站的設定方式而定,您可能需要執行以下部分或所有步驟:
- 如果您設定了 HTTP 回應標頭,請移除
X-Robots-Tag
HTTP 回應標頭:
X-Robots-Tag: noindex
- 移除下列位於網頁頁首的中繼標記:
<meta name="robots" content="noindex">
- 避免在網頁標頭出現特定檢索器的中繼標記時,封鎖特定的檢索器。例如:
<meta name="Googlebot" content="noindex">
新增其他控制項 (選用)
您可能會想進一步控管搜尋引擎為網頁建立索引的方式。例如,您可能不希望 Google 為圖片建立索引,但想要讓網頁的其他部分編入索引。
如要進一步瞭解如何為特定搜尋引擎設定 <meta>
元素和 HTTP 標頭,請參閱下列指南:
資源
- 「網頁禁止建立索引」的原始碼
- Google 的漫遊器中繼標記和 X-Robots-Tag HTTP 標頭規範
- Bing 的漫遊器中繼標記
- Yandex 的使用 HTML 元素