קובץ רובוט נמצא בתיקיית המקור ( Root ) של האתר על גבי שרת האיחסון ותפקידו להורות למנועי החיפוש אילו עמודים באפשרותם לסרוק ואילו עמודים אסור להם לסרוק ולהכיל באינדקס שלהם. אם זאת, ישנם מנועי חיפוש אשר יציגו את כתובת ה – URL של העמוד ( ללא תוכן ) למרות שימוש נכון בקובץ רובוט.
ככלל, אל תציב שום קובץ שאינך מעוניין שיסרק ויכלל במנועי החיפוש על גבי שרת איחסון אשר "פתוח לעולם".
- קישורים רלוונטים –
Robotstxt – אתר המוקדש כולו לרובוטים ודרכי הטיפול בהם.