Spider – עכביש מנועי החיפוש / זחלן תפקידו של עכביש ( זחלן ) מנועי החיפוש הוא לתור אחרי עמודים בלתי מאונדקסים, עמודים חדשים ועמודים שהוסרו על מנת לעדכן את אינדקס מנוע החיפוש. עכביש מנוע החיפוש אמור לציית לקובץ רובוט ( Robot.txt ).
