Mit der Datei “robots.txt“ kann ein Webseitenbetreiber einem Such-Bot bzw. einem Crawler mitteilen, wie sich dieser beim Besuch der Seite verhalten soll. Dass sich dieser am Ende so verhält, ist allerdings keine Garantie! Auch ist es nicht möglich, über die robots.txt den Zugriff für bestimmte Nutzer oder Such-Robots einzuschränken.
Die robots.txt folgt syntaktisch dabei dem Robots-Exclusion-Standard-Protocol. Auf diese Weise kann per Befehl zum Beispiel festgelegt werden, welche Unterseiten des Webservers nicht von Such-Bots durchsucht werden sollen.
Damit lässt sich in der Theorie deren Indizierung verhindern. Das kann beispielsweise bei Unterseiten, die alleine Fotos darstellen, sinnvoll sein. Im Übrigen lassen sich in der robots.txt nicht nur alle, sondern auch nur bestimmte Suchbots diesen Befehlen – oder besser Verhaltensregeln – zuweisen.
