User-agent:  Mediapartners-Google* 
Disallow: /temp/       # Die Dateien sind sehr kurzlebig
Disallow: /logfiles/   # Die ändern sich jeden Tag
Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren
Disallow: /homepage/home_gesperrt.asp    # nicht indexieren
Disallow: /error.asp    # nicht indexieren
Disallow: /correct/ # nicht indexieren
Disallow: /map/ # nicht indexieren

User-agent: twiceler
Crawl-delay: 5