User-Agent: * Disallow: User-Agent: Slurp Crawl-delay: 15 User-Agent: msnbot Crawl-delay: 15 User-Agent: inktomi Crawl-delay: 15 # Ask Jeeves aussperren User-agent: Teoma Disallow: / # intranet und Downloads verstecken User-Agent: * Disallow: /intranet Disallow: /neue_downloads Disallow: /test Disallow: /mediabig # individuelle Sperranfragen diverser Personen User-Agent: * Disallow: /berufseinstieg/meldungen/mindestlohn