Suchmaschienen bots - ein paar fragen

Webdesign & Technik Javascript
1

hallo,

[size=50]hab kein passenderes forum als das BSS (Betriebssysteme, Server und Software) gefunden :slight_smile:)[/size]

Wenn ein suchmaschienen bot meine website betritt, die eigentlich mit AJAX funktioniert, aber auf der es verstecke links hat, folg der bot den links, oder?

diese links fĂŒhren nun zu einer datei, die den header 'location: meineseite.xy/'req=link oder ignoriert er ihn einfach?

liest ein bot auch ‚inkorrekte‘ xml dateien? also, ohne DTD, oder solche „kleinen fehler“?

hoffe ihr könnt mir helfen :p (und tut dies auch :ps: )

danke schon mal!

mfg Joey

2

Bots sind mit validem HTML viel besser dran, als mit invalidem

JS/AJAX fĂŒhrt ein Bot gar nicht aus
da ist es besser, du arbeitest mit einer robots.txt :wink:

3

danke, aber dass ein bot kein JS ausfĂŒhrt wusst ich schon, deshalb kam es zu diesem post


ich wollt ja eigentlich nur wissen, ob ein bot die headers befolgt


aber naja,

robots.txt tönt ja einfach, aber mit welchem syntax? php :ps: ?

mfg Joey

4

wikipedia hat einen guten artikel


de.wikipedia.org/wiki/Robots.txt