Les moteurs de recherche ne peuvent afficher des pages dans leurs résultats de recherche que si ces pages bloquer explicitement l'indexation par les robots d'exploration des moteurs de recherche. Certains en-têtes HTTP et les balises Meta indiquent aux robots d'exploration qu'une page ne doit pas être indexée.
Bloquez uniquement l'indexation du contenu que vous ne souhaitez pas voir apparaître dans les résultats de recherche.
Échec de l'audit d'indexation Lighthouse
Pages de drapeau Lighthouse que les moteurs de recherche ne peuvent pas indexer:
![Audit Lighthouse indiquant que les moteurs de recherche ne peuvent pas indexer votre page](https://developer.chrome.google.cn/static/docs/lighthouse/seo/is-crawlable/image/lighthouse-audit-showing-7e7f828021977.png?authuser=1&hl=fr)
Lighthouse vérifie uniquement les en-têtes ou les éléments qui bloquent tous les moteurs de recherche
robots d'exploration. Par exemple, l'élément <meta>
ci-dessous empêche tous les moteurs de recherche
robots (également appelés robots) à accéder à votre page:
<meta name="robots" content="noindex"/>
Cet en-tête de réponse HTTP bloque également tous les robots d'exploration:
X-Robots-Tag: noindex
Il est également possible que des éléments <meta>
bloquent certains robots d'exploration, par exemple:
<meta name="Googlebot" content="noindex"/>
Lighthouse n'échoue pas à l'audit des instructions spécifiques aux robots d'exploration comme celles-ci, mais il peut rendre votre page plus difficile à trouver. Utilisez-les donc avec prudence. Lighthouse émet avertissement si une instruction spécifique au robot d'exploration bloque un robot d'indexation commun.
Comment s'assurer que les moteurs de recherche peuvent explorer votre page
Assurez-vous tout d'abord que vous souhaitez que les moteurs de recherche indexent la page. Certaines pages, comme sitemaps ; ou un contenu légal, ne devraient généralement pas être indexés. N'oubliez pas que le blocage l'indexation n'empêche pas les utilisateurs d'accéder à une page s'ils en connaissent l'URL).
Supprimez les en-têtes HTTP ou les éléments <meta>
des pages que vous souhaitez indexer
qui bloquent les robots d'exploration des moteurs de recherche. Selon la configuration de votre site,
vous devrez peut-être suivre tout ou partie des étapes ci-dessous:
- Supprimez l'en-tête de réponse HTTP
X-Robots-Tag
si vous avez configuré un en-tête HTTP en-tête de réponse:
X-Robots-Tag: noindex
- Supprimez la balise Meta suivante si elle est présente dans l'en-tête de la page:
<meta name="robots" content="noindex">
- Évitez les balises Meta qui bloquent des robots d'exploration spécifiques si ces balises sont présentes dans le en-tête de la page. Exemple :
<meta name="Googlebot" content="noindex">
Ajouter une commande supplémentaire (facultatif)
Vous souhaitez peut-être mieux contrôler la façon dont les moteurs de recherche indexent votre page. Par exemple : vous ne voulez pas que Google indexe les images, mais vous voulez peut être indexée.
Pour savoir comment configurer vos éléments <meta>
et HTTP
pour des moteurs de recherche spécifiques, consultez les guides suivants: