Robots.txt – קובץ Robots

קובץ רובוט נמצא בתיקיית המקור ( Root ) של האתר על גבי שרת האיחסון ותפקידו להורות למנועי החיפוש אילו עמודים באפשרותם לסרוק ואילו עמודים אסור להם לסרוק ולהכיל באינדקס שלהם. אם זאת, ישנם מנועי חיפוש אשר יציגו את כתובת ה – URL של העמוד ( ללא תוכן ) למרות שימוש נכון בקובץ רובוט.

ככלל, אל תציב שום קובץ שאינך מעוניין שיסרק ויכלל במנועי החיפוש על גבי שרת איחסון אשר "פתוח לעולם".

• קישורים רלוונטים -
  Robotstxt – אתר המוקדש כולו לרובוטים ודרכי הטיפול בהם.