Disallow: /temp/       # Die Dateien sind sehr kurzlebig
Disallow: /logfiles/   # Die ändern sich jeden Tag
Disallow: /Bilder/     # Bilder nicht downloaden
Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren
Disallow: /typo3/browser.php
Disallow: /typo3/sysext
Disallow: /typo3/mod
Disallow: /typo3/install
Disallow: /typo3/fileadmin


User-agent: MJ12bot
Disallow: /

# Massendownloader vom CGI Verzeichnis fernhalten
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
Disallow: /cgi-bin/