সার্চ ইঞ্জিন শুধুমাত্র তাদের সার্চ ফলাফলে পৃষ্ঠাগুলি দেখাতে পারে যদি সেই পৃষ্ঠাগুলি সার্চ ইঞ্জিন ক্রলারদের দ্বারা সুস্পষ্টভাবে সূচীকরণ ব্লক না করে। কিছু HTTP শিরোনাম এবং মেটা ট্যাগ ক্রলারদের বলে যে একটি পৃষ্ঠাকে ইন্ডেক্স করা উচিত নয়।
আপনি অনুসন্ধান ফলাফলে প্রদর্শিত হতে চান না যে সামগ্রীর জন্য শুধুমাত্র সূচীকরণ ব্লক করুন।
কিভাবে Lighthouse সূচী অডিট ব্যর্থ হয়
বাতিঘর পতাকা পৃষ্ঠাগুলি যা সার্চ ইঞ্জিনগুলি সূচী করতে পারে না:
লাইটহাউস শুধুমাত্র শিরোনাম বা উপাদানগুলির জন্য পরীক্ষা করে যা সমস্ত সার্চ ইঞ্জিন ক্রলারকে ব্লক করে। উদাহরণস্বরূপ, নীচের <meta>
উপাদানটি সমস্ত সার্চ ইঞ্জিন ক্রলারকে (রোবট নামেও পরিচিত) আপনার পৃষ্ঠা অ্যাক্সেস করতে বাধা দেয়:
<meta name="robots" content="noindex"/>
এই HTTP প্রতিক্রিয়া শিরোনামটি সমস্ত ক্রলারকে ব্লক করে:
X-Robots-Tag: noindex
আপনার কাছে <meta>
উপাদান থাকতে পারে যা নির্দিষ্ট ক্রলারকে ব্লক করে, যেমন:
<meta name="Googlebot" content="noindex"/>
Lighthouse এই ধরনের ক্রলার-নির্দিষ্ট নির্দেশাবলীর জন্য অডিট ব্যর্থ করে না, কিন্তু তারা এখনও আপনার পৃষ্ঠা আবিষ্কার করা কঠিন করতে পারে, তাই সতর্কতার সাথে ব্যবহার করুন। যদি একটি ক্রলার-নির্দিষ্ট নির্দেশ একটি সাধারণ ইন্ডেক্সিং বটকে ব্লক করে তাহলে লাইটহাউস একটি সতর্কতা নির্গত করবে৷
কিভাবে সার্চ ইঞ্জিন আপনার পৃষ্ঠা ক্রল করতে পারে তা নিশ্চিত করবেন
প্রথমে নিশ্চিত করুন যে আপনি সার্চ ইঞ্জিনগুলিকে পৃষ্ঠাটি ইনডেক্স করতে চান। সাইটম্যাপ বা আইনি বিষয়বস্তুর মতো কিছু পৃষ্ঠা সাধারণত ইন্ডেক্স করা উচিত নয়। (মনে রাখবেন যে সূচীকরণ ব্লক করা ব্যবহারকারীদের একটি পৃষ্ঠা অ্যাক্সেস করতে বাধা দেয় না যদি তারা তার URL জানে।)
আপনি যে পৃষ্ঠাগুলিকে ইন্ডেক্স করতে চান সেগুলির জন্য, সার্চ ইঞ্জিন ক্রলারগুলিকে ব্লক করে এমন কোনও HTTP শিরোনাম বা <meta>
উপাদানগুলি সরান৷ আপনি কীভাবে আপনার সাইট সেট আপ করেন তার উপর নির্ভর করে, আপনাকে নীচের কিছু বা সমস্ত পদক্ষেপ করতে হতে পারে:
- আপনি যদি একটি HTTP প্রতিক্রিয়া শিরোনাম সেট আপ করেন তবে
X-Robots-Tag
HTTP প্রতিক্রিয়া শিরোনামটি সরান:
X-Robots-Tag: noindex
- নিম্নলিখিত মেটা ট্যাগটি সরান যদি এটি পৃষ্ঠার মাথায় থাকে:
<meta name="robots" content="noindex">
- মেটা ট্যাগগুলি এড়িয়ে চলুন যেগুলি নির্দিষ্ট ক্রলারগুলিকে ব্লক করে যদি এই ট্যাগগুলি পৃষ্ঠার মাথায় থাকে৷ যেমন:
<meta name="Googlebot" content="noindex">
অতিরিক্ত নিয়ন্ত্রণ যোগ করুন (ঐচ্ছিক)
সার্চ ইঞ্জিন কীভাবে আপনার পৃষ্ঠাকে সূচী করে তার উপর আপনি আরও নিয়ন্ত্রণ চাইতে পারেন। উদাহরণস্বরূপ, হয়ত আপনি চান না যে Google ইমেজগুলিকে ইন্ডেক্স করুক, কিন্তু আপনি বাকি পৃষ্ঠাগুলিকে ইন্ডেক্স করতে চান৷
নির্দিষ্ট সার্চ ইঞ্জিনের জন্য আপনার <meta>
উপাদান এবং HTTP শিরোনামগুলি কীভাবে কনফিগার করবেন সে সম্পর্কে তথ্যের জন্য, এই নির্দেশিকাগুলি দেখুন: