(Stand: 09.11.24, Adresse: http://www.grammiweb.de/informativ/praxis/robots.shtml)
Die Datei "robots.txt"
Um die Suchrobots von der Indizierung solcher Inhalte abzuhalten wurde die Datei "robots.txt" ins Leben gerufen. Diese Datei wird von nahezu allen Robots akzeptiert und regelt das Verkehrswesen für die Suchmaschinenhelfer, indem sie Unterverzeichnisse freigibt oder sperrt. Die "robots.txt" wird als ASCII-Datei im Hauptverzeichnis einer Website abgelegt, also in dem Verzeichnis, in dem sich auch die Datei "index.htm" befindet.
Die Datei "robots.txt" besteht aus zweierlei Informationen: Zum einen wird der Name des Suchagenten genannt, zum anderen der Bereich, der von diesem nicht besucht werden soll.
Beispiel
User-agent: fireball
Disallow: /hiernicht/
Disallow: /hierauchnicht/
Disallow: /hierschon/dienicht.html
Dem Roboter der Suchmaschine "Fireball" wird hiermit der Zugriff auf die Unterverzeichnisse "/hiernicht/" und "/hierauchnicht/" verwehrt, und auch die Datei "dienicht.html" im Unterverzeichnis "/hierschon/" wird nicht indiziert werden.
Um nicht für jeden Roboter einzeln einen solchen Eintrag in der "robots.txt" erstellen zu müssen, haben sich auch Platzhalter bewährt. So spricht der Eintrag "User-agent: *" alle Agenten an, und der Eintrag "Disallow: /" sperrt alle Informationen einer Internetpräsenz. Soll die komplette Website freigegeben werden, so wird der Eintrag "Disallow: " ohne weiteren Zusätze verwendet.
Um die Datei "robots.txt" mit Kommentaren zu versehen, wird das Zeichen "#" verwendet, um eine solche Bemerkung anzugrenzen.
[an error occurred while processing this directive] [an error occurred while processing this directive]© Grammiweb.de Internetlösungen. Alle Rechte vorbehalten. Stand: 09.11.2024
Seitenanfang - Sponsor werden - Datenschutz - Medien - Impressum - Werbung - Hilfe - Kontakt