Wyszukiwarki mogą wyświetlać strony w wynikach wyszukiwania tylko wtedy, gdy nie blokują ich indeksowania przez roboty. Niektóre nagłówki i metatagi HTTP informują roboty, że strona nie powinna być indeksowana.
Blokuj tylko indeksowanie treści, które nie mają się pojawiać w wynikach wyszukiwania.
Niepowodzenie audytu indeksowania Lighthouse
Lighthouse oznacza strony, których wyszukiwarki nie mogą zindeksować:
Lighthouse szuka tylko nagłówków i elementów, które blokują wszystkie roboty wyszukiwarek. Na przykład poniższy element <meta>
uniemożliwia dostęp do strony wszystkim robotom wyszukiwarek (nazywanym też robotami):
<meta name="robots" content="noindex"/>
Ten nagłówek odpowiedzi HTTP blokuje też wszystkie roboty:
X-Robots-Tag: noindex
Możesz też mieć elementy <meta>
, które blokują określone roboty, na przykład:
<meta name="Googlebot" content="noindex"/>
Narzędzie Lighthouse nie przejdzie kontroli takich dyrektyw robota, ale mogą utrudniać odkrycie Twojej strony, więc używaj ich ostrożnie. Jeśli dyrektywa dotycząca konkretnego robota indeksującego blokuje popularnego robota indeksującego, Lighthouse wyświetla ostrzeżenie.
Jak upewnić się, że wyszukiwarki mogą indeksować Twoją stronę
Najpierw upewnij się, że wyszukiwarki mają indeksować stronę. Niektóre strony, np. mapy witryny czy treści prawne, z reguły nie powinny być indeksowane. (Pamiętaj, że blokowanie indeksowania nie blokuje użytkownikom dostępu do strony, jeśli znają jej adres URL).
W przypadku stron, które mają zostać zindeksowane, usuń nagłówki HTTP i elementy <meta>
, które blokują roboty wyszukiwarek. W zależności od konfiguracji witryny możesz wykonać niektóre lub wszystkie z tych czynności:
- Usuń nagłówek odpowiedzi HTTP
X-Robots-Tag
, jeśli masz skonfigurowany nagłówek odpowiedzi HTTP:
X-Robots-Tag: noindex
- Jeśli znajduje się w nagłówku strony, usuń ten metatag:
<meta name="robots" content="noindex">
- Unikaj metatagów, które blokują określone roboty, jeśli znajdują się one w nagłówku strony. Na przykład:
<meta name="Googlebot" content="noindex">
Dodaj dodatkowy element sterujący (opcjonalnie)
Możesz potrzebować większej kontroli nad sposobem indeksowania strony przez wyszukiwarki. Na przykład nie chcesz, aby robot Google indeksował obrazy, ale reszta strony została zindeksowana.
Informacje o konfigurowaniu elementów <meta>
i nagłówków HTTP pod kątem określonych wyszukiwarek znajdziesz w tych przewodnikach:
Zasoby
- Kod źródłowy kontroli Strona jest zablokowana
- Specyfikacje meta tagu robots i nagłówka HTTP X-Robots-Tag firmy Google
- Roboty Metatagi Bing
- Artykuł na temat używania elementów HTML w Yandex