hmm okey … was macht denn ein Russischer bot bei meiner Webseite ??? [/quote]
Deine Seite archivieren, und sie in seinen Index aufnehmen. Die Sprache ist doch kein
Problem, das lässt sich im Notfall übersetzen. Vielleicht interessieren ihn ja auch nur Bilder.
ich würd mit htaccess irgendwie dafür sorgen, dass beim abrufen der /robots.txt ein php script aufgerufen wird, und wenn es sich um einen bot handelt, und dieser dann auch später in Verzeichnisse greift, die per robots.txt untersagt sind, sollte der zugriff für den bot einfach komplett gesperrt werden.
Ist es normal dass die Bots in horden kommen?
hier sieht man immer nur einen von jeder sorte (oder wird das iwie zusammengefasst)
grad eben wieder 3 googlebots gleichzeitig da
waren auch richtige soweit ich weiß (IP iwas mit 66.249.71.233)
der eine davon laut protokoll schreibt ne antwort zu irgendm thread.
haben die n bestimmten grund antworten zu schreiben oder folgen die nur aus lust und laune dem reply button und machen nix weiter (formulare ausfüllen dürfte ja sowieso nicht sein )
robots.txt untersagt Robotern nicht, daß sie Seiten angucken
dürfen, die angeguckten Seiten sollen sie nur nicht in den
Index setzen, soll also später nicht als Suchergebnis bei seinem
Kollegen der Suchmaschine erscheinen, daher ist es kein
mißfälliges Verhalten, wenn sich ein Roboter auch Seiten anguckt,
die er nicht listen soll, solange er sich an letzteres hält.
Roboter sollen allerdings keine Formulare ausfüllen, die folgen
Verweisen, schicken aber nicht selbständig Formulare ab.
Solange man also irgendwelche Verweise mit get-Parametern
drin hat, guckt sich so ein Roboter sowas auch an, verwendet
man hingegen ein komplettes Formular, so wird er dies nicht
abschicken.
Von Zeit zu Zeit ist es auch durchaus normal, daß irgendwelche
Roboter öfter mal vorbeikommen. Solange die das nicht über
Stunden in Sekuntentakt tun, ist das auch völlig unbedenklich.
Die von Google sind wohl auch nicht perfekt koordiniert und
folgen jeweils eigenen Aufträgen, da kann es sich auch schon mal
vorkommen, daß zwei am gleichen Tag aus verschiedenen
Gründen auf die gleiche Seite gucken ;o)
oder ? …
