# robots.txt fuer http://www.wi-inf.uni-essen.de/MobisPortal
User-agent: *
Disallow: /_tmp/       # Die Dateien sind sehr kurzlebig
Disallow: /logfiles/   # Die ändern sich jeden Tag
Disallow: /jpeg/     # Bilder nicht downloaden
Disallow: /gif/     # Bilder nicht downloaden
Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren
Disallow: /admin/    # 
Disallow: /images/    # 
Disallow: /imap/    # 
#Disallow: /download/    # Downloadbereich


#Wenn man nicht gleich alle Crawler, sondern nur ein paar bestimmte meint, kann man diese so angeben:

# Massendownloader vom CGI Verzeichnis fernhalten
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
Disallow: /cgi-bin/