Hallo.
ich habe mir mal vor kurzem eine 404Page gebastellt und habe da eingebaut das ich eine Email bekomme wenn die 404 aufgerufen wird.
Jetzt bekomme ich ab und zu eine Email das:[quote]Es ist ein Fehler aufgetreten: ak10.bplaced.net/robots.txt[/quote]aufgerufen wird.
Jetzt meine Frage ist das ein Systemzugriff oder kennt das sonst irgendjemand?
Von meinen Scripts wird das jedenfalls nicht aufgerufen.
Gruß Nikolas
wenn du robots.txt bei Google eingeben würdest wüsstest dus 
Diese Datei wird von jedem Spider bzw. von alles aufgerufen die sich an die Crawling Regeln halten aufgerufen. Daher Google etc rufen diese aus. Dort kann man den Zugriff der Crawler/Spider steuern daher verbieten oder sagen das diese das und das anschauen sollen / dürfen.
favicon.ico könnten Browser auch aufrufen 
Danke!
An sowas dachte ich garnicht ich dachte das hängt mit bplaced zusammen. Das heißt ich kann einfach eine leere Robots.txt erstellen um den “Fehler” zu beheben?
Gruß Nikolas
ja… eine leere sollte gehen oder einfach:
robots.txtUser-agent: *
Disallow:
(wobei das im Prinzip das selbe ist wie eine leere^^ Also lass die einfach leer )
damit haben die Robots kompletten Zugriff. Wie schon gesagt^^ Google ist dein Freund
Du könntest deine 404 Page theoretisch auch so einbauen das diese nicht immer ne email schickt^^ Sondern bei doppelten fehlenden seiten es einfach ignoriert.
Ok Vielen Dank,gute Nacht und bis 
PS:Habe den Artikel auf Wikipedia jetzt gelesen
Gruß Nikolas
