Allgemeines über robots.txt Das Internet ist voller Robots/Spider/Crawler/Bots. Sie hangeln sich von einer zur anderen Seite auf nehmen alles auf was sie auf dem Weg finden. Im Grunde garnicht so schlecht, wenn es denn die Richtigen sind. Der Googlebot zum Beispiel sorgt dafür, dass Webinhalte „schnell“ indiziert und für die Suche zu Verfügung gestellt werden. […]