# robots informations User-agent: * Disallow: # Alle Roboter einladen # (Eine leere Datei erfüllt den gleichen Zweck) # User-agent: * # Disallow: # Alle Roboter von bestimmten Verzeichnissen fernhalten # User-agent: * # Disallow: /unwichtig/ # Disallow: /cgi-local/ # Einen bestimmten Robot ausschließen # User-agent: Sidewinder # Disallow: / # Einen bestimmten Robot einladen # User-agent: WebCrawler # Disallow: # Mehrere Dateien ausschließen # User-agent: * # Disallow: /diesunddas.html # Disallow: /unddiesehier.html # Disallow: /verbotenr.html # Kommentare fügen Sie so ein: # # Mein Kommentar