2.12.2017

أفضل ملف robots.txt روبوت لا يوجد له مثيل إطلاقا حقيقة

انا لا امزح في هذا الموضوع ستجد أفضل ملف robots.txt روبوت
لا يوجد مثيل له في العالم
نعم أكمل قراه الموضوع واضمن لك انك ستحصل على أفضل ملف روبوت
لن تجد أفضل منه يناسب موقعك إطلاقا


انطلاقا من المثل القائل ( لا تعطيني سمك وعلمني كيف اصطاد )
سنشرح كيف نحصل على أفضل ملف robots.txt روبوت يناسب موقعنا
طريقة منع أي رابط أو صفحة  من الفهرسة ببساطة  تخصيص ملف الروبوت
كيف نمنع أي رابط من الظهور في محركات البحث
الكثير من أصحاب المواقع  تصادفهم مشكلة تكرار روابط
المواضيع أو الصفحات في محركات البحث
ويحتاجون لمنع هذه الروابط من الفهرسة  حيث أنها تتسبب في تكرار
وصف الميتا وتكرار عناوين المواضيع مما يترتب عليه تكرار المحتوى
وبتالي يقلل من فرصة ظهور روابط موقعنا في محركات البحث وربما معاقبته
فتجد الكثير يبحث  عن أفضل ملف robots.txt روبوت  يمكن وضعه في
موقعه وهذا خطاء لا يوجد
هناك أفضل ملف روبوت
لا داعي للبحث  في كل المواقع عن افضل ملف الروبوت
لا داعي لتتعب نفسك دون فائدة لأنه أصلا لا يوجد ملف روبوت أفضل من الأخر
لان ملف الروبوت هو عبارة عن ملف سماح ومنع
وكل واحد يمنع ما يراه مناسب لموقعه أو مدونته
إذا قمت بالبحث عن أفضل ملف وراق لك احد الملفات في موقع ماء وقمت
بتركيبة في موقعك فهناك احتمال أن يتم تكرار أو منع روابط تريد لها
عكس ما هو موجود في الملف
كما أن ملف الروبوت يتم التعديل عليه من خلال المتابعة المستمرة
لموقعك ولجميع الروابط التي يتم فهرستها في محركات البحث
بحيث إذا وجدت إي رابط مكرر أو قسم أو صفحة تستطيع منع الرابط أو
مجموعة الروابط في وقتها ولكي تقوم بذالك ليسئ من الصواب البحث عن
أفضل ملف روبوت واستبداله بالملف الذي لديك
وإنما يتم ذالك  عن طريقك أنت فقط
نعم أخي أنت فقط من يستطيع عمل أفضل ملف روبوت خاص به
تسمح فيه لما تريد وتمنع ما تريد وفي إي وقت تريد
لأنك الوحيد الذي يستطيع متابعة روابط موقعك  ويقوم بتعديل عليها
حتى لو قام شخص ذو خبره وكفاءة عالية بعمل ملف الروبوت لك هذا لا يفيدك
لأنك تحتاج لمتابعة روابط موقعك طوال الوقت والتعديل على الملف فورا عند
حدوث إي إشكالية أو ظهور مفاجأ لروابط مكرره
ملف الروبوت لا يحتاج منك أن تكون مبرمجا أو ذو خبره كبيرة في فهم
أو كتابة  الاكواد
لا يا عزيزي فقط يحتاج منك معرفة كيف تمنع وكيف تسمح
وكيف تمنع بشكل خاص وكيف تمنع بشكل عام
كل ما في الأمر كلمتان كلمة سماح متبوعة بكلمة
وكلمة منع متبوعة بكلمة
كما أن جوجل توفر لك اختبار ما تقوم به حتى تتأكد من عملك بشكل سليم
كما سيأتي في الشرح
لنبدأ الشرح
إذا كيف أقوم بمنع ما أريد واسمح لما أريد ؟
هنا سنضع الحل بشكل  بسيط جدا
بحيث يستطيع أي شخص حتى لو كان مبتدى أن يمنع أو يسمح
للروابط بالفهرسة  بكل بساطة

أولا ملف الروبوت افتراضيا يكون بالشكل التالي
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://yyyyyyyyy/sitemap.xml
قبل أن نبدأ بشرح كيفية نمنع أو نسمح سنعطي معنى للكلمات الموجودة في ملف الروبوت حتى
يكون الشرح مفهوم

أولا:
User-agent: Mediapartners-Google
تعني أن هذا يتم من خلال توكيل الاستخدام لبرنامج جوجل بعمل ما يلي  تكون ثابتة لا تحتاج إلى تغير
 
ثانيا :

Disallow:
وهي تعني عدم السماح بالفهرسة  أيضا ثابتة لا تحتاج تغير

ثالثا :
User-agent: *
تعني استخدام الخاصية كا وكيل عنك  وهي أيضا تكون ثابتة في ملف الروبوت  

رابعا :
Allow: /
وهي تعني السماح  بالفهرسة  أيضا ثابتة ولا تحتاج تغير
خامسا :
Disallow: /search
حيث هنا قمنا بمنع روابط البحث search 
سادسا :
Sitemap: http://yyyyyyyyy/sitemap.xml
هي الخريطة التي تحتوي على روابط المواضيع لموقعك  حيث أن yyyyyyyyyy   هو رابط موقعك


تعرفنا على محتويات ملف الروبوت ولان لنبدأ كيف نعتمد على أنفسنا قي السماح أو منع أي رابط نريد
أحيان تتم فهرسة الأقسام  وأيضا تتم أحيانا فهرسة الموضوع  برابطين
فمثلا لو كان رابط الموضوع الفعلي  كتالي
http://www.yyyyy.net/2017/02/blog-post_74.html

لأكن قد يتكرر الرابط بالشكل التالي
http://www.yyyyy.net/2017/02/blog-post_74.html?m=0

انظر ما هو الفرق
الفرق أن الرابط  الفعلي أو الأصلي للموضوع  ينتهي ب
.html
لأكن الرابط المكرر هو نفس الرابط الأول لأكن مع زيادة بسيطة في نهايته
حيث ينتهي ب
?m=0
هذه مشكلة  لأكن حلها بسيط جدا
فقط  لكي نمنع هذا الرابط المكرر
نقوم بأخذ نهائية الرابط  التي هي
?m=0
ونضعها في ملف الرروبوت  بعد خاصية المنع   Disallow     متبوعة ب * /
حيث تعني ( /  ) التالي
وتعني النجمة  ( * )  كل الروابط التي لها نفس النهاية
بحيث يتكون لدينا الشكل التالي
Disallow: /*?m=0
طيب أين يتم وضع هذا داخل ملف الروبوت ؟
يتم وضعها أسفل التعليمة التالية
User-agent: *
ليكون ملف الروبوت بالشكل التالي
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /*?m=0
Disallow: /search
Allow: /
Sitemap: http://yyyyyyyyy/sitemap.xml

ألان لن يتم فهرسة الروابط التي لها نهاية 
?m=0
ملاحظة مهمة جدا
قد تجد روابط تنتهي بنهائية التالية     
?m=1   
لا تقوم بمنعها  لان هذه الروابط هي روابط خاصة بالتصفح عن طريق الجوال فقط قم بمنع 
?m=0
مثل أخر
إذا وجدنا أن هناك بعض الروابط  مكرره لأكن لها نهاية أخرى
فكيف نقوم بمنعها
لنفترض أن هناك روابط تتكرر له هذه النهاية 
s?m
نقوم بوضع هذه الكلمة بعد تعليمة المنع كما في المثال الأولى
بحيث تكون بالشكل التالي
Disallow: /* s?m
يتم وضعها تحت التعليمة الأولى
ليكون شكل  النهائي لملف الروبوت بشكل التالي
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /*?m=0
Disallow: /* s?m

Disallow: /search
Allow: /
Sitemap: http://yyyyyyyyy/sitemap.xml


وهكذا نتعامل مع باقي الروابط المكررة أن وجدت
طيب هذا بنسبة للروابط التي قد تظهر في محركات البحث بشكل غير سليم
ماذا عن كيفية منع الأقسام من الفهرسة  أو الأرشيف أو التعليقات   ؟
هذا بسيط أيضا
التعليمة هذه 
Disallow: /search

موجودة بالأعلى هي تمنع ظهور أو تكرار روابط الأقسام أو الأرشيف  والتعليقات
وهي  تعني منع كل روابط البحث في الموقع بما فيها الأقسام والأرشيف والتعليقات
لأكن ماذا لو ظهرت الأقسام حتى عند وجود تعليمة البحث  ؟
في هذه الحالة نقوم بإضافة رابط الأقسام بعد تعليمة المنع
كيف يتم ذالك  انقر على أي قسم من الأقسام الموجودة في موقعك
وانظر إلى رابط  القسم ستجد انه بعد رابط الموقع  يبدأ بهذه الكلمة
Label
ثم تأتي بعدها اسم القسم سوى بالغة العربية أو الانجليزية كتالي
http://www.yyyyyyy/search/label/برامج
أو حسب الرابط الموجود عندك 
ولكي نمنع ظهور  هذه الكلمة  نضعها بعد تعليمة المنع كتالي
Disallow: / label

 لاحظ هنا في هذا الحالة لم نستخدم  علامة النجمة ( * ) لماذا ؟

لان رابط الأقسام عام لكل الأقسام ويمكن أن  تتصل به مجموعة من الروابط
لذالك سيتم منع  جميع الأقسام لأن كل الأقسام تبدأ ب
label
بينما في المثال الأول كان خاص بحيث يأتي في نهاية كل رابط .
بعد منع رابط الأقسام سيصبح ملف الروبوت بالشكل التالي
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /*?m=0
Disallow: /* s?m
Disallow: / label
Disallow: /search
Allow: /
Sitemap: http://yyyyyyyyy/sitemap.xml

مثال أخر
في حالة كنا نريد منع جميع الأقسام ما عدا قسم واحد فقط
كيف يتم ذالك  ؟
لنفترض أن لدينا أقسام بالأسماء التالية
برامج  -  تصميم  -  دروس  -   برامج اندرويد
ونريد منع كل الأقسام ماعدا قسم ( البرامج )
سيكون ملف الروبوت نفس الملف السابق مع  اختلاف بسيط وهو تضمين السماح لقسم البرامج
ننقر على قسم البرامج في موقعنا
انظر إلى رابط قسم البرامج لنفترض أنه بالشكل التالي
http://yyyyyyy./search/label/برامج
نضع القسم واسم القسم بعد تعليمة سماح مع وضع علامة النجمة ( * ) قبل اسم القسم كتالي
Allow: /label/*برامج
نقوم بإضافة هذا التعليمة تحت تعليمة السماح مباشرة كتالي
Allow: /
Allow: /label/*برامج
هل لاحظت إننا استخدمنا النجمة هنا ( * )
لان  البرامج  واحد من الأقسام أي انه قسم خاص وليس كل الأقسام
سيصبح ملف الروبوت بالشكل التالي
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /*?m=0
Disallow: /* s?m
Disallow: / label
Disallow: /search
Allow: /
Allow: /label/*برامج
Sitemap: http://yyyyyyyyy/sitemap.xml
كيف نتأكد  من أن كل ما نقوم به في ملف الروبوت صحيح ولا يوجد خطاء قد
 يقوم باستبعاد الروابط المهمة ؟
بكل بساطة توجه إلى 
أدوات مشرفي المواقع ثم  الزحف ثم  اختبار  robots.txt
ثم
 ضع الكلمة أو القسم  الذي تريد منعه أو السماح له في مربع الروبوت
ثم في مستطيل الاختبار قم بوضع الرابط الذي تم منعه أو السماح له
وانقر على اختبار وسيتم إخبارك في إذا ما كان مسموح أو ممنوع
مثال على روابط مواضيع متكررة  بكلمة 
?m=0
شاهد الشكل التالي











 

مثال لمنع الأقسام عن طريق
Disallow: / label
او
Disallow: /search

شاهد الشكل التالي






 





مثال لمنع جميع الأقسام ماعدا قسم معين مثل قسم برامج 
Allow: /label/*برامج
شاهد الشكل التالي



بهذه الطريقة تستطيع منع أي رابط أو صفحة في موقعك  أو أي روابط يتم تكرارها
في محركات البحث
كيف نعرف أن هناك روابط يتم فهرستها أو تكرارها مرتين أو أكثر في جوجل ؟
توجد طريقتين لمعرفة الروابط المكررة
الطريقة الأولى :
عن طريق أدوات مشرفي المواقع
نتوجه إلى  الخيار الأول  مظهر البحث  ثم إلى تحسينات HTML
ستجد التالي
أوصاف meta مكررة
علامات عناوين مكررة
وستجد عدد الروابط  المكررة إمامها  انقر عليها وستجد لكل موضوع  له عدد رابطين أو أكثر
بما فيها الرابط الفعلي
قم بأخذ نهاية الروابط المكررة وقم تطبيق ما قمنا بشرحه عليها
الطريقة الثانية :
عن طريق البحث عن روابط موقعك في محرك البحث جوجل
افتح صفحة جوجل الرئيسة
ثم في مربع  البحث ضع رابط موقعك بدون
www  
وبدون
http//
لأكن مسبوقا ب
site:
بحيث يكون بالشكل التالي
site:yyyyyyyy.com
ثم انقر على بحث وسيتم عرض جميع روابط وعناوين المواضيع بموقعك
ضع مؤشر الماوس على  أول عنوان سيقوم المتصفح بعرض الرابط
إذا كان ربط الموضوع ينتهي ب
Html
أو بحسب النهاية الموجودة عندك لكل رابط  موضوع فهذا إذا الرابط المعتمد
وإذا كان الرابط ينتهي بشكل أخر كما شرحنا أعلاه فقم بمنع النهاية هذه عن طريق ملف الروبوت
وهكذا انتقل إلى الصفحة الثانية وقم بفحص العناوين الموجود بها وهكذا حتى تنتهي من جميع المواضيع
غالبا في حالة هناك روابط مكرره ستجدها تنتهي بشكل أو شكلين إلى ثلاثة  أشكال على الأكثر  قم بمنع هذه الأشكال الغير صحيحة من الروابط 

شاهد الصورة التالية 


 


انتهاء الدرس
ألان تستطيع مراقبة روابط موقعك وعمل كل ما يلزم  ويكون بهذا فعلت أفضل ملف روبوت لا يمكن أن تجده في إي موقع 

يرجى ذكر المصدر عند نقل الموضوع
اذا كان الدرس مفهوم واستفيدت منه فلا تبخل علينا بتعليق لنستمر في تقديم الافضل
أمل أن يكون الدرس مفهوم وواضح وان تكون الفكرة وصلت
في حالة واجهت إي مشكلة  فلا تتردد في ترك تعليق لنا وسنحاول مساعدتك
مع خالص تحياتي

17 التعليقات:

  1. شكرا لك اخي شرح وافي ومفهوم واستفدت منه كثيرا

    ردحذف
  2. الحمد لله حتى قام احدهم بشرح كامل مفهوم لملف robots text شكرا

    ردحذف
  3. موضوع اكثر من رائع مشكور اخي واتمنى ان نتواصل فلدي مدونة اخبار

    ردحذف
  4. تسلم باذن الله سنستمر في طرح المواضيع المهمة

    ردحذف
  5. مشكور اخي العزيز
    ماهي الخوة المستقبليه بعد ذلك ؟

    ردحذف
    الردود
    1. اهلا اخي
      الخطوة المستقبلية
      بنسبة لملف ال robots هي مراقبة روابط الموقع المتكرره
      من خلال موقع ادرة مشرفي المواقع
      والبحث في جوجل عن روابط الموقع المتكررة كما تم شرحه اعلاه
      واصلاح مايلزم
      اما بنسبه لخطوات اشهار الموقع وتقوية الارشفه فانها تحتاج الى المزيد من الجهد والمتابعه والترويج للموقع
      كما يجب عليك قرات المواضيع الخاصه ب seo لكي يكون موقعك في ترتيب ممتاز
      تحياتي

      حذف
  6. بص حضرتك الملف بتاعى شكله ازاى
    ser-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Disallow: /contact.html
    Disallow: /error-page.html
    Disallow: /about.html
    Disallow: /search/label/?updated-min=
    Disallow: /search/label/?updated-max=
    Allow: /
    User-agent: *
    Disallow: /*.html
    Allow: /*.html$
    Sitemap:https://balto00.tk/atom.xml?redirect=false&start-index=1&max-results=500

    مع العلم انا واخده من قناة يوتيوب و لقيت فى عناوين كتير محظورة بس هحط واحد جديد

    السؤال هل سبب حظر عناوين url عندى لتدوينات صالحة بسبب disallow : /*content.html ؟؟

    ردحذف
  7. اخي الكريم :كيف امنع فهرسة روابط الاعلانات بموقعي بواسطة الربوت و شكرا .جزاك الله خيرا

    ردحذف
  8. السلام عليكم شرح ممتاز أخي أنت مشكور عندي سؤال أخي أرجو الاجابة عليه في أقرب وقت أخي عندما أفهرس راوبط موضوعاتي على خاصية جلب مثل جوجل على خاصية الهاتف الذكي ـاتين يرسائل أن بأن ملف robot.txt يحظر عناوين url المعدة للتتناسب مع الهواتف الذكية

    ردحذف
  9. السلام عليكم ورحمة الله وبركاته اخونا ارجوا القاء النظر على هاذا الملف واخباري ما اذا كان به اخطاء علما اني وجته من موقع والصقته في مدونتي ارجوا النظر فيه في اقرب وقت وجزاك الله كل خير


    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Disallow: /p/blog-page_13.html
    Disallow: /p/h2h3ptext-alignrightatext.html
    Disallow: /contact.html
    Disallow: /error-page.html
    Disallow: /search/label/?updated-min=
    Allow: /
    User-agent: *
    Disallow: /*.html
    Allow: /*.html$
    Sitemap:https://fekrtee.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

    ردحذف
    الردود
    1. شوف اخي انت قمت بمنع مجموعة من الروابط هي اصلا ليست موجودة في موقعك مثلا انت منعت رابط صفحة الاخطاء التالي
      Disallow: /error-page.html
      هذا الصفحة او الرابط غير موجود في موقعك اصلا وهنك اكثر من رابط قمت بمنعها وهي ليست موجودة
      نصيحة لك اخي لا تغتر بكل مايقال عن ملف ال robots
      لان اي خلل في هذا الملف قد يضيع جهد سنوات واشهر من الجهد
      حاول تقرى الموضوع وتفهمه جيدا
      قمت بارسال لك ملف على الفيس بوك اعتمدة وغير مايلزم ان لزم الامر فقط
      تحياتي

      حذف
  10. ربنا يباركلك على المعلومات القيمة دى
    https://www.newz2you.com

    ردحذف