หน้าเว็บถูกบล็อกไม่ให้จัดทำดัชนี

เครื่องมือค้นหาสามารถแสดงหน้าในผลการค้นหาได้ก็ต่อเมื่อหน้าเหล่านั้นไม่แสดง บล็อกการจัดทำดัชนีโดยโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาอย่างชัดเจน เมตาและส่วนหัว HTTP บางรายการ แท็กจะบอกให้โปรแกรมรวบรวมข้อมูลทราบว่าหน้าเว็บไม่ควรได้รับการจัดทำดัชนี

บล็อกเฉพาะการจัดทำดัชนีสำหรับเนื้อหาที่คุณไม่ต้องการให้ปรากฏในผลการค้นหา

วิธีที่การตรวจสอบการจัดทำดัชนี Lighthouse ล้มเหลว

หน้าแฟล็ก Lighthouse ที่เครื่องมือค้นหาไม่สามารถจัดทำดัชนีได้:

การตรวจสอบ Lighthouse ที่แสดงให้เห็นว่าเครื่องมือค้นหาจัดทำดัชนีหน้าเว็บไม่ได้

Lighthouse ตรวจสอบเฉพาะส่วนหัวหรือองค์ประกอบที่บล็อกเครื่องมือค้นหาทั้งหมด โปรแกรมรวบรวมข้อมูล ตัวอย่างเช่น องค์ประกอบ <meta> ด้านล่างจะป้องกันเครื่องมือค้นหาทั้งหมด โปรแกรมรวบรวมข้อมูล (หรือที่เรียกว่าโรบ็อต) เข้าถึงหน้าเว็บไม่ได้

<meta name="robots" content="noindex"/>

ส่วนหัวการตอบกลับ HTTP นี้ยังบล็อก Crawler ทั้งหมดด้วย

X-Robots-Tag: noindex

คุณอาจมีองค์ประกอบ <meta> ที่บล็อก Crawler บางประเภทด้วย เช่น

<meta name="Googlebot" content="noindex"/>

Lighthouse ไม่ได้ล้มเหลวในการตรวจสอบคำสั่งเฉพาะ Crawler อย่างเช่นคำสั่งนี้ อาจทำให้ผู้ใช้ค้นพบหน้าเว็บของคุณได้ยากขึ้น ดังนั้น โปรดใช้ด้วยความระมัดระวัง Lighthouse จะปล่อย หากคำสั่งเฉพาะของโปรแกรมรวบรวมข้อมูลบล็อกบ็อตการจัดทำดัชนีทั่วไป

วิธีตรวจสอบให้แน่ใจว่าเครื่องมือค้นหาสามารถรวบรวมข้อมูลหน้าเว็บของคุณ

ก่อนอื่นต้องดูให้แน่ใจว่าเครื่องมือค้นหาต้องการจัดทำดัชนีหน้าเว็บนั้น หน้าเว็บบางหน้า เช่น แผนผังเว็บไซต์ หรือเนื้อหาด้านกฎหมาย ซึ่งโดยทั่วไปไม่ควรจัดทำดัชนี (โปรดทราบว่าการบล็อก การจัดทําดัชนีจะไม่ป้องกันไม่ให้ผู้ใช้เข้าถึงหน้าเว็บหากทราบ URL ของหน้านั้น)

สำหรับหน้าที่ต้องการจัดทำดัชนี ให้นำส่วนหัว HTTP หรือองค์ประกอบ <meta> ออก ที่บล็อกโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหา ขึ้นอยู่กับวิธีตั้งค่าเว็บไซต์ คุณอาจต้องทำขั้นตอนบางรายการหรือทั้งหมดด้านล่าง

  • นำส่วนหัวการตอบกลับ HTTP X-Robots-Tag ออกหากคุณตั้งค่า HTTP ส่วนหัวการตอบกลับ:
X-Robots-Tag: noindex
  • นำเมตาแท็กต่อไปนี้ออกหากมีอยู่ในส่วนหัวของหน้า
<meta name="robots" content="noindex">
  • หลีกเลี่ยงเมตาแท็กที่บล็อกโปรแกรมรวบรวมข้อมูลบางโปรแกรม หากมีแท็กเหล่านี้อยู่ในแท็ก ส่วนหัวของหน้า เช่น
<meta name="Googlebot" content="noindex">

เพิ่มการควบคุมเพิ่มเติม (ไม่บังคับ)

คุณอาจต้องการควบคุมวิธีที่เครื่องมือค้นหาจัดทำดัชนีหน้าเว็บของคุณให้มากขึ้น ตัวอย่างเช่น คุณอาจไม่ต้องการให้ Google จัดทำดัชนีภาพ แต่คุณต้องการส่วนที่เหลือของหน้า จัดทำดัชนีแล้ว

สำหรับข้อมูลเกี่ยวกับวิธีกำหนดค่าองค์ประกอบ <meta> และ HTTP สำหรับเครื่องมือค้นหาเฉพาะบางรายการ โปรดดูคำแนะนำเหล่านี้:

แหล่งข้อมูล