Zoekmachines kunnen alleen pagina's in hun zoekresultaten weergeven als die pagina's de indexering door de crawlers van zoekmachines niet expliciet blokkeren. Sommige HTTP-headers en metatags vertellen crawlers dat een pagina niet mag worden geïndexeerd.
Blokkeer alleen indexering voor inhoud die u niet in de zoekresultaten wilt weergeven.
Hoe de Lighthouse-indexeringsaudit mislukt
Lighthouse markeert pagina's die zoekmachines niet kunnen indexeren:
Lighthouse controleert alleen op headers of elementen die alle crawlers van zoekmachines blokkeren. Het onderstaande <meta> -element voorkomt bijvoorbeeld dat alle crawlers van zoekmachines (ook wel robots genoemd) toegang krijgen tot uw pagina:
<meta name="robots" content="noindex"/>
Deze HTTP-antwoordheader blokkeert ook alle crawlers:
X-Robots-Tag: noindex
Mogelijk hebt u ook <meta> -elementen die specifieke crawlers blokkeren, zoals:
<meta name="Googlebot" content="noindex"/>
Lighthouse faalt niet in de audit voor dit soort crawlerspecifieke richtlijnen, maar ze kunnen er wel voor zorgen dat je pagina moeilijker te ontdekken is, dus gebruik ze met de nodige voorzichtigheid. Lighthouse geeft een waarschuwing als een crawlerspecifieke richtlijn een algemene indexeringsbot blokkeert.
Hoe u ervoor kunt zorgen dat zoekmachines uw pagina kunnen crawlen
Zorg er eerst voor dat zoekmachines de pagina indexeren. Sommige pagina's, zoals sitemaps of legale inhoud, mogen over het algemeen niet worden geïndexeerd. (Houd er rekening mee dat het blokkeren van indexering niet verhindert dat gebruikers een pagina openen als ze de URL ervan kennen.)
Voor pagina's die u wilt indexeren, verwijdert u alle HTTP-headers of <meta> -elementen die de crawlers van zoekmachines blokkeren. Afhankelijk van hoe u uw site heeft opgezet, moet u mogelijk enkele of alle onderstaande stappen uitvoeren:
- Verwijder de
X-Robots-TagHTTP-antwoordheader als u een HTTP-antwoordheader instelt:
X-Robots-Tag: noindex
- Verwijder de volgende metatag als deze aanwezig is in de kop van de pagina:
<meta name="robots" content="noindex">
- Vermijd metatags die specifieke crawlers blokkeren als deze tags aanwezig zijn in de kop van de pagina. Bijvoorbeeld:
<meta name="Googlebot" content="noindex">
Voeg extra controle toe (optioneel)
Misschien wilt u meer controle over hoe zoekmachines uw pagina indexeren. Misschien wilt u bijvoorbeeld niet dat Google afbeeldingen indexeert, maar wilt u wel dat de rest van de pagina wordt geïndexeerd.
Raadpleeg deze handleidingen voor informatie over het configureren van uw <meta> -elementen en HTTP-headers voor specifieke zoekmachines: