Wie wär es, wenn man in den Webspace einstellen kann, ob man bots wie google erlauben will?
(es würde dann eine robots.txt, mit dem entsprechenden Inhalt erstellt
User-agent: *
Disallow: / )
Ich denke, dass würde die Server auch ein bisschen auslasten!
Wir wollen die Server auch nicht auslasten 
(ich glaub’ du meinst entlasten)
Man kann doch eh eine robots.txt erstellen. Das ist bereits möglich.
^^ ah ja entlasten 
ja, aber ich denke an diejenigen, die sich nicht so mit html auskennen…
Die Idee finde ich sehr gut; es gibt viele, die sich mit so etwas nicht sonderlich gut auskennen (selbst wenn sie HTML und Konsorten ganz gut hinbekommen). Ein kleines Webprogramm zu schreiben, dass die robots.txt generiert, ist nicht sonderlich kompliziert und könnte tatsächlich den Server enorm entlasten… Mein Webspace z.B. wurde früher regelmäßig vom Abacho-Bot durchsucht, also ziemlich oft, und dabei war es mir furchtbar egal, ob meine Seite bei Abacho eingetragen ist… Es war also völlig unnötiger Traffic.
Wenn bedarf ist, setzte ich mich mal nen freien Tag dran und schreibe das Programm
also ich will bots nicht ausschließen… immerhin kommen fast 30% meiber besucher über google / yahoo und co auf meine website!