المحتوى ما هو ملف robots txt؟ أهمية ملف robots.txt للمواقع الإلكترونية؟ كيف يعمل ملف robots.txt robots.txt وUser-Agents كيف تجد ملف robots.txt الخاص بك؟ إنشاء ملف robots.txt خطوة بخطوة كيف تكتب الأوامر في ملف robots.txt إضافات لبناء robots.txt نصائح لبناء ملف robots.txt أمثلة على ملف robots.txt ملف robots.txt للوردبريس  ملف robots.txt للـ Woo-commerce.  ملف robots.txt لل Open Cart  ملف robots.txt للـ Magento  ملف robots.txt للـ laravel  كيفية اختبار ملف robots.txt قبل إرساله الخلاصة المراجع قد لا يكون لديك علم بأنّك تملك قدرة السيطرة على محركات البحث. هل يبدو الأمر غريباً! لكن حقيقة، يمكنك التلاعب بمن يقوم بالزحف إلى موقعك (Crawl) وفهرسته (Index)، وصولاً إلى الصفحات الفردية (Individual pages). للتحكم في ذلك، ستحتاج إلى استخدام ملف (robots.txt). تَحكّم محركات البحث على المواقع بشكل صارم وقاسٍ، لذلك من الضروري ترك انطباع رائع. باستخدام ملف (robots.txt) بشكل صحيح، يمكنك تحسين معدل الزحف، مما قد يؤثر على جهود تحسين محركات البحث لديك. لنتعلم سوية في هذا المقال، كيف تصنع واحداً؟ كيف تستخدمه؟ ما الأشياء التي يجب عليك تجنبها؟ ما هو ملف robots txt؟ هو ملف نصّي بسيط، يوجد داخل دليل الجذر “Root directory” لموقع الويب الخاص بك. يقوم بإعلام الروبوتات (robots or Spiders) التي يتم إرسالها بواسطة محركات البحث بالصفحات التي يجب الزحف إليها، والتي يجب التغاضي عنها. لكن لا بدّ من ذكر أنّه ليس من الضروري أن يلتزم كل روبوت بالقواعد التي تكتبها في ملف robots.txt الخاص بك. Google مثلاً؛ لن يستمع إلى أي توجيهات تضعها في الملف حول تكرار الزحف. أهمية ملف robots.txt للمواقع الإلكترونية؟ يفيد ملف robot.txt في الحالات التي تريد المزيد من التحكم في ما يتم الزحف إليه، إليك بعض الفوائد لامتلاك الملف: المساعدة في إدارة التحميل الزائد للخادم Server overloads. يمكنك الاحتفاظ بالمحتوى المكرر بعيداً عن(SERPs)، يمكنك منع إهدار الزحف عن طريق الروبوتات، التي تزور الصفحات، التي لا تريد أن تقوم بها، مثل الصفحات التي تحتوي على المحتوى المكرر. يساعدك في الحفاظ على خصوصية مجلدات، أو نطاقات فرعية معينة. يساعد في تحديد موقع ملف Sitemap الخاص بك؛ وهي نقطة مهمة جداً، حيث تسمح لبرامج الزحف بمعرفة مكان ملف Sitemap الخاص بك، حتى يتمكنوا من مسحه ضوئياً. كيف يعمل ملف robots.txt يُخبر ملف robots.txt محركات البحث بكيفية الزحف إلى الصفحات المُستضافة على موقع الويب الخاص بك. المكونان الرئيسيان لملف robots.txt الخاص بك هما: User-agent: يحدد محرك البحث أو روبوت الويب web bot، الذي تنطبق عليه القاعدة. إن أردت تضمين كل محركات البحث، يمكنك استخدام علامة النجمة (*) مع User-agent. Disallow: ينصح محرك البحث بعدم الزحف إلى ملف ما، أو صفحة، أو دليل، […]