محتوبات المقال
الفهرسة
بمجرد أن يتأكد محرك البحث من زيارة موقعك والزحف إليه، يأتي الجزء التالي الذي يتمثل في التأكد من إمكانية فهرسة موقعك. فمن المهم أن يتم تخزين موقعك في فهرس محرك البحث، وليس مجرد اكتشافه والوصول إليه. في الجزء السابق الذي تناولناه حول الزحف، تحدثنا عن كيفية اكتشاف محركات البحث لصفحات الويب الخاصة بك. والآن، يكون الفهرس هو المكان الذي يتم فيه تخزين الصفحات التي تم اكتشافها. بمجرد أن يعثر الزاحف على هذه الصفحات، يتم عرضها لمحرك البحث بشكل كامل تماماً كما يقوم المتصفح بعرضها. وأثناء ذلك، يقوم محرك البحث بتحليل محتويات تلك الصفحة واستخلاص المعلومات الهامة منها. ويتم تخزين جميع هذه المعلومات في الفهرس في المكان المناسب لها في هذا الفهرس.
هل من الممكن رؤية كيف يرى زاحف Googlebot صفحاتي؟
نعم، يمكنك رؤية الإصدار المخزن لصفحتك، والذي يُعرف بـ “الإصدار المؤقت” (Cached Version)، والذي يعكس اللقطة الأخيرة التي زار فيها Googlebot الصفحة.
تقوم Google بزيارة صفحات الويب وتخزينها مؤقتًا بناءً على عوامل متنوعة. يتم زيارة المواقع الشهيرة والتي تقدم محتوى جديدًا ومحدثًا بشكل منتظم بشكل أكبر من المواقع ذات الشهرة المنخفضة أو المواقع الجديدة.
يمكنك رؤية الإصدار المخزن من صفحتك عن طريق النقر على السهم المنسدل الموجود بجانب عنوان URL في نتائج صفحة نتائج محرك البحث (SERP) واختيار “Cached” (مُخبأ).
بالإضافة إلى ذلك، يمكنك عرض النسخة النصية فقط من موقعك للتحقق مما إذا كان المحتوى الهام الخاص بك يتم زيارته وتخزينه مؤقتًا بشكل فعال أم لا.
هل يمكن إزالة الصفحات من الفهرس ؟
نعم، يمكن لمحركات البحث إزالة الصفحات من الفهرس. هنا بعض الأسباب الرئيسية التي قد تؤدي إلى إزالة عنوان URL من الفهرس:
- عنوان URL يعرض خطأ “غير موجود” (4XX) أو خطأ في الخادم (5XX): في حالة ظهور خطأ في عنوان URL مثل خطأ 404 (غير موجود) أو عنوان URL غير صحيح، فقد يتم إزالته من الفهرس. قد يحدث ذلك إذا تم نقل الصفحة دون إعداد إعادة توجيه 301 أو بقصد لحذف الصفحة وجعلها غير متاحة (404) بهدف إزالتها من الفهرس.
- إضافة تاج noindex: يمكن لمالك الموقع إضافة تاج noindex لعنوان URL لإبلاغ محرك البحث بإزالة الصفحة من الفهرس.
- معاقبة يدوية: يمكن أن يتم معاقبة عنوان URL يدويًا إذا انتهك إرشادات مشرفي المواقع الخاصة بمحرك البحث، وبناءً على ذلك، يتم إزالته من الفهرس.
- حظر الزحف وإضافة كلمة مرور: قد يتم حظر عنوان URL من الزحف من خلال إضافة كلمة مرور مطلوبة قبل أن يتمكن الزوار من الوصول إلى الصفحة. في هذه الحالة، قد يتم إزالة الصفحة من الفهرس.
هل يمكنني اخبار محركات البحث عن كيفية فهرسة موقعي؟
نعم، يُمكنك إعطاء توجيهات لمحركات البحث بشأن كيفية فهرسة موقعك باستخدام “روبوتس ميتا تاجز” (Robots meta tags).
تعليقات الـ “روبوتس ميتا تاجز” (Robots meta tags) تُستخدم لإرشاد محركات البحث حول كيفية التعامل مع صفحات موقع الويب الخاص بك. يمكنك استخدامها لتوجيه محركات البحث حول الفهرسة والزحف لصفحات محددة. تُضاف هذه التعليمات في رأس <head> لصفحات HTML أو في رأس الـ HTTP باستخدام X-Robots-Tag.
وفيما يلي بعض الروبوتس ميتا تاجز الشائعة وشرح لكيفية استخدامها:
index/noindex-1:
تُخبر محركات البحث ما إذا كان يجب فهرسة الصفحة واحتفاظها في فهرس محركات البحث أم لا. يُستخدم “noindex” إذا كنت ترغب في استبعاد الصفحة من نتائج البحث. بشكل عام، تقوم محركات البحث بفهرسة الصفحات افتراضيًا، لذا فإن استخدام “index” غالبًا ليس ضروريًا.
follow/nofollow-2:
تُخبر محركات البحث ما إذا كان يجب متابعة الروابط الموجودة في الصفحة أم لا. تستخدم “follow” للسماح لزواحف محركات البحث بمتابعة الروابط وتمرير القوة الاستثنائية (PageRank) عبر الروابط. أما “nofollow” فتمنع محركات البحث من متابعة الروابط وتمرير القوة الاستثنائية عبرها. القيمة الافتراضية هي “follow” لجميع الصفحات.
noarchive-3:
تُستخدم لمنع محركات البحث من حفظ نسخة مخبأة (مخزنة) من الصفحة. الافتراضي، تحتفظ محركات البحث بنسخة مخبأة للصفحات التي تم فهرستها، ويمكن للمستخدمين الوصول إليها عن طريق الرابط المخبأ (Cached link) في نتائج البحث.
يمكن استخدام هذه العلامات في رأس <head> لصفحة HTML كالتالي:
“`html
<!DOCTYPE html>
<html>
<head>
<meta name=”robots” content=”noindex, nofollow” />
</head>
<body>…</body>
</html>
“`
في هذا المثال، يتم استبعاد جميع محركات البحث من فهرسة الصفحة ومتابعة الروابط الموجودة فيها. إذا كنت ترغب في استبعاد برامج زحف متعددة، مثل Googlebot وBing، فيمكنك استخدام علامات استبعاد الروبوت المتعددة.
تُؤثر توجيهات التعريف على عملية الفهرسة وليس على عملية الزحف. يحتاج Googlebot إلى الزحف إلى صفحتك لقراءة توجيهات التعريف، لذا فإنها ليست وسيلة لمنع برامج الزحف من الوصول إلى الصفحات. يجب أن يتم الزحف إلى علامات الروبوت لاحترام توجيهات التعريف.
X-Robots-Tag
لتوجيه محركات البحث وحظرها على نطاق واسع، يُستخدم علامة “X-Robots-Tag” في رأس HTTP لعنوان URL الخاص بك. توفر هذه العلامة مزيدًا من المرونة والوظائف مقارنةً بالعلامات الوصفية “meta tags” إذا كنت ترغب في حظر محركات البحث بشكل شامل. يمكنك استخدام تعبيرات عادية وحظر ملفات غير HTML وتطبيق العلامات على مستوى الموقع مثل “noindex”.
على سبيل المثال، يمكنك بسهولة استبعاد مجلدات بأكملها أو أنواع ملفات بالكامل باستخدام علامة “X-Robots-Tag”
نصيحة لمستخدمي ووردبريس:
لضمان وصول محركات البحث إلى موقعك بشكل صحيح، يجب التحقق من إعدادات القراءة في لوحة التحكم الخاصة بك. يمكنك فعل ذلك عبر الخطوات التالية:
- 1. قم بتسجيل الدخول إلى لوحة التحكم الخاصة بموقعك على ووردبريس.
- 2. انتقل إلى “الإعدادات” (Settings) واختر “القراءة” (Reading).
- 3. تأكد من أن مربع “Search Engine Visibility” غير محدد. إذا كان محددًا، قم بإلغاء تحديده.
باختيار عدم تحديد مربع “Search Engine Visibility”، ستسمح بالوصول الكامل لمحركات البحث إلى موقعك والسماح لها بزيارة جميع الصفحات المهمة. وبذلك، ستتجنب المشاكل الشائعة التي قد تحدث عند منع برامج الزحف من الوصول إلى صفحاتك الهامة.
من الجيد أيضًا أن تفهم الطرق المختلفة التي يمكنك من خلالها التأثير على الزحف والفهرسة في ووردبريس. يمكنك استكشاف إعدادات أخرى مثل الملف robots.txt و sitemap.xml لتعديل طريقة زحف وفهرسة موقعك وفقًا لاحتياجاتك ومتطلباتك الخاصة.
في ختام هذا المقال، يمكن القول إن الفهرسة هي عملية حاسمة لأي موقع ويب يهدف إلى الظهور في نتائج محركات البحث. من خلال تحسين عملية الفهرسة، يمكنك زيادة فرصتك في جذب المزيد من الزوار والوصول إلى جمهور أوسع.
تحقيق الفهرسة الجيدة يتطلب تنفيذ مجموعة من الإجراءات، بما في ذلك تصميم موقع ويب يتماشى مع معايير SEO وتحسين هيكلية الصفحات واستخدام الكلمات الرئيسية بشكل صحيح وإنشاء محتوى ذو جودة عالية.
باستخدام استراتيجيات الفهرسة الملائمة والأدوات المناسبة، يمكنك تحسين وجود موقعك على الإنترنت وزيادة رؤية محتواك لدى الجمهور. تذكر أن الفهرسة هي عملية مستمرة ومستدامة، لذا يجب عليك متابعة التطورات وتحسين استراتيجياتك بانتظام.
مع التركيز على الفهرسة الجيدة، ستتمتع بموقع ويب قوي ومرئي يلبي احتياجات الجمهور ويحقق أهدافك على الإنترنت. استثمر الوقت والجهد اللازمين لتحقيق فهرسة ممتازة، وستجني الفوائد والنتائج على المدى الطويل.
