مولّد ملف robots.txt مجانًا

مولد robots.txt يكتب الملف النصي الصغير الذي يخبر الزواحف بالأجزاء المسموح لها بزيارتها في موقعك. اختر القاعدة الأساسية، واكتب المسارات الممنوعة والاستثناءات المسموحة، وأضف رابط خريطة الموقع، ويمكنك منع روبوتات تدريب الذكاء الاصطناعي. انسخ الناتج واحفظه باسم robots.txt في المجلد الرئيسي للموقع.

أهم النقاط

  • ملف robots.txt يتحكم في الزحف وليس الأرشفة. لإخراج صفحة من جوجل استخدم noindex.
  • سطر واحد خاطئ مثل Disallow: / قد يُخرج الموقع كله من البحث، فراجع دائمًا.
  • منع روبوتات الذكاء الاصطناعي قرار تجاري: يحمي المحتوى لكنه قد يقلل ظهورك في إجاباتها.

طريقة إنشاء الملف

  1. اترك القاعدة الأساسية على السماح لكل محركات البحث في الموقع الحي.
  2. اكتب المجلدات التي ليس لها قيمة في البحث، مسارًا في كل سطر، مثل /wp-admin/ أو /cart/ أو نتائج البحث الداخلي.
  3. أضف الاستثناءات التي يجب أن تبقى مفتوحة، مثل /wp-admin/admin-ajax.php في ووردبريس. زر الإعدادات الجاهزة يملأ الاثنين لك.
  4. الصق رابط خريطة الموقع لتجد الزواحف كل الصفحات المهمة.
  5. احفظ الناتج باسم robots.txt ليفتح على https://yourdomain.com/robots.txt.

الزحف ليس هو الأرشفة

هذه أكثر نقطة يُساء فهمها في السيو التقني. أمر Disallow يمنع الروبوتات الملتزمة من جلب الرابط، لكن لو مواقع أخرى تربط إليه فقد يؤرشف جوجل الرابط نفسه بدون محتواه. لإخراج صفحة من النتائج اسمح بالزحف إليها وأضف وسم noindex، ويمكنك إنشاؤه بـمولد وسوم الميتا. منع الصفحة في robots.txt مع إضافة noindex معًا لا يعمل، لأن الزاحف لن يرى وسم noindex أصلًا.

ماذا تمنع وماذا تترك مفتوحًا؟

امنع غالبًالا تمنع أبدًا
لوحة التحكم وصفحات الدخولملفات CSS وJavaScript
السلة والدفع وحساب العميلالصور التي تريدها في بحث الصور
البحث الداخلي وروابط الفلاتر التي لا تنتهيالصفحات التي تريد ترتيبها
نسخ التجربة (امنع النطاق كله)خريطة الموقع

جوجل يعرض الصفحات مثل المتصفح. لو لم يستطع تحميل CSS والسكربتات فقد يسيء تقدير التصميم ومدى ملاءمة الصفحات للجوال.

ميزانية الزحف والروابط المكررة

المتاجر والأدلة الكبيرة تنتج آلاف الروابط شبه المتطابقة عبر الترتيب والفلاتر ومعرّفات الجلسة. الزواحف تضيّع وقتها فيها، فتُزحف الصفحات الحقيقية أقل. منع هذه الأنماط في robots.txt، مثل Disallow: /*?orderby=، يوفر ميزانية الزحف (Crawl Budget). أما الصفحات المكررة التي يجب أن تمرر قوة الروابط فاستخدم لها وسم Canonical بدلًا من المنع، حتى تذهب الإشارات للنسخة الأساسية ولا تضيع.

روبوتات الذكاء الاصطناعي وGEO

روبوتات مثل GPTBot وClaudeBot وCCBot وGoogle-Extended وPerplexityBot تجمع المحتوى لنماذج الذكاء الاصطناعي ومحركات الإجابة. منعها يحمي محتواك من استخدامه في التدريب، لكنه قد يقلل أيضًا فرصة أن تستشهد بك المساعدات الذكية وتضع رابطك. لأغلب الشركات التي تريد أن تُرشَّح في إجابات الذكاء الاصطناعي ننصح بترك روبوتات محركات الإجابة مفتوحة، والقرار حالة بحالة في روبوتات التدريب فقط. خدمة GEO لدينا تساعدك على الاختيار حسب المكان الذي يبحث فيه عملاؤك.

اختبر قبل الرفع وبعده

قبل الرفع اقرأ الملف سطرًا سطرًا: كل مجموعة User-agent تنطبق فقط على الروبوتات التي تسميها، والقاعدة الأكثر تحديدًا هي التي تطبق. بعد الرفع افتح yourdomain.com/robots.txt في المتصفح لتتأكد أنه يعمل، ثم راجع تقرير robots.txt في Google Search Console لأي أخطاء. أعد الاختبار بعد النقل وتغيير القالب وعند إطلاق موقع التجربة، لأن نسخ قواعد موقع التجربة إلى الموقع الحي من أشهر أسباب الانهيار المفاجئ في الزيارات. وافحص بعض الصفحات المهمة بـأداة فحص سيو الصفحة لتتأكد أنها ما زالت قابلة للأرشفة.

ملف آمن للبداية في ووردبريس

في أغلب مواقع ووردبريس الملف القصير هو الأفضل: اسمح بكل شيء، وامنع /wp-admin/ مع السماح بـ admin-ajax.php، واكتب رابط خريطة الموقع التي تنشئها إضافة السيو مثل /sitemap_index.xml. لا تمنع /wp-content/ أو /wp-includes/ لأنهما يحتويان CSS والسكربتات والصور التي يحتاجها جوجل لعرض صفحاتك. أضف قواعد أخرى فقط عند وجود سبب واضح، مثل معامل فلتر ينتج آلاف الروابط. الملف الأقصر أسهل في المراجعة وأصعب في الكسر بالخطأ.

ملاحظة للمتاجر العربية

منصات مثل سلة وزد وشوبيفاي تنشئ ملف robots.txt خاصًا بها، وغالبًا لا تسمح بتعديله بالكامل. في هذه الحالة ركّز على ما تتحكم فيه: وسوم noindex للصفحات الضعيفة، وCanonical للمنتجات المكررة، وخريطة موقع نظيفة. واستخدم هذا المولد لمواقع ووردبريس والمواقع المبنية يدويًا، أو لكتابة الملف الذي سترسله لمطوّرك.

تحتاج أكثر من أداة مجانية؟

فريقنا ينفّذ التدقيق الكامل والإصلاحات وخطط النمو لمواقع بـ10 لغات.
تعرّف على خدمات السيو

الأسئلة الشائعة

أين أرفع ملف robots.txt؟

في جذر النطاق ليفتح على https://yourdomain.com/robots.txt. وكل نطاق فرعي يحتاج ملفًا خاصًا به.

هل ووردبريس فيه robots.txt جاهز؟

ووردبريس ينشئ ملفًا افتراضيًا. رفع ملف حقيقي أو تعديله من Rank Math أو Yoast يستبدله.

هل يخفي robots.txt الصفحات الخاصة؟

لا. الملف عام وهو مجرد طلب للروبوتات الملتزمة. احمِ المحتوى الخاص بكلمة مرور أو تسجيل دخول.

هل أمنع روبوتات الذكاء الاصطناعي؟

حسب أهدافك. المنع يحمي المحتوى من التدريب، والسماح لمحركات الإجابة قد يجلب ظهورًا وزيارات من البحث بالذكاء الاصطناعي.

متى يقرأ جوجل التعديلات؟

جوجل يحتفظ بنسخة من الملف حتى 24 ساعة غالبًا، ويمكنك طلب تحديثها من تقرير Search Console.

كيف بنينا هذه الأداة: الفحوصات والحدود المستخدمة مبنية على توثيق Google Search Central ومعايير Schema.org وW3C، ونراجعها شهريًا على ما نراه في مواقع عملائنا. الأداة تعمل داخل متصفحك ولا تحفظ النصوص أو الروابط التي تكتبها. عندك سؤال أو لاحظت خطأ؟ راسلنا.

1

شهر سيو مجاني لموقعك

نقدّم شهر سيو مجاني شامل كل حاجة: تحليل تقني، تحليل المنافسين، بحث الكلمات المفتاحية، تحديد هدف العميل، أساسيات السيو، تحسين السيو الداخلي، وتحسين الظهور في محركات الذكاء الاصطناعي (GEO). والعمل كله يتم عن طريق فريق متخصص.

ابدأ شهرك المجاني
استشارة مجانية عبر واتساب
تم التصميم والسيو بواسطة قروش السيوواتساب +20 112 057 7167أعلن معنا