Hallo,
ich frage mich gerade, wie ich allerlei Suchmaschinen den Zugriff auf meinen Webspace verweigern kann. Leider habe ich im Internet bisher wenig dazu gefunden.
Und bitte sagt mir jetzt nicht, ich könne ein Passwort auf dem Webspace legen.
de.wikipedia.org/wiki/Robots_Exclusion_Standard z.b.
mit der suche nach robots.txt findest du einiges.
allerdings ist das eher auf freiwilliger basis und kann sogar im umgekehrten sinn unerwuenschte bots anlocken.
Nun, ist diese Methode gesetzlich anerkannt?
Gut, eine etwas schwierigere Frage. Denn am besten wäre es ja, dass wenn eine Suchmaschine die Daten der Internetseite dennoch veröffentlicht bzw. in die Datenbank mit aufnimmt, dann entsprechend abgemahnt werden kann, da der Webmaster diese Eintragungen ja verhindern wollte und dann ggf. auch die Entfernung der Daten verlangen kann.
Denn aus meiner Erfahrung weiß ich, dass Suchmaschinen sehr sehr selten Daten wieder austragen, wenn diese erstmal drin sind und daher wäre es ja gut, wenn man mit dieser Methode auch einen gewissen gesetzlichen Rahmen setzt.
Hi,
die robots.txt ist eine freiwillige Sache, auf die allerdings die meisten Suchamschinen Rücksicht nehmen. Ganz sicherstellen, dass etwas im Index landet geht nur, wenn die Seite entsprechend vollständig durch Passwörter o.ä. geschützt wird, sodass eben kein Zugriff für Bots / Besucher besteht.
Außerdem kann es helfen, Useragents von Bots per htaccess auszuschließen. Das sollte gegen normale Suchmaschinen helfen, ist aber auch nicht vollkommen sicher, da dieser jedezeit verändert werden kann.
user-agents.org/ --> alles, was mit R oder S gekennzeichnet ist, sperren 
[quote=“progandy”]Außerdem kann es helfen, Useragents von Bots per htaccess auszuschließen. Das sollte gegen normale Suchmaschinen helfen, ist aber auch nicht vollkommen sicher, da dieser jedezeit verändert werden kann.
user-agents.org/ --> alles, was mit R oder S gekennzeichnet ist, sperren [/quote]
Dies kann bzw. wird den Web-Server / Seitenaufbau (ggf. stark) verlangsamen!
Es genügt völlig, eine robots.txt bereitzustellen. Google, Yahoo und Co. beachten diese und werden deine Site nicht indexieren. Alle anderen “bösen” Bots kannst du mit derartigen Maßnahmen sowieso nicht aussperren - aber das wäre mir persönlich egal, weil niemand derartige Suchmaschinen nutzt und diese idR auch kein Abbild (“Suchmaschinen-Cache”) deiner Website erstellen (dazu fehlen schlicht die nötigen Mittel / Ressourcen).
[quote=“brauwn”][quote=“progandy”]Außerdem kann es helfen, Useragents von Bots per htaccess auszuschließen. Das sollte gegen normale Suchmaschinen helfen, ist aber auch nicht vollkommen sicher, da dieser jedezeit verändert werden kann.
user-agents.org/ --> alles, was mit R oder S gekennzeichnet ist, sperren [/quote]
Dies kann bzw. wird den Web-Server / Seitenaufbau (ggf. stark) verlangsamen!
Es genügt völlig, eine robots.txt bereitzustellen. Google, Yahoo und Co. beachten diese und werden deine Site nicht indexieren. Alle anderen “bösen” Bots kannst du mit derartigen Maßnahmen sowieso nicht aussperren - aber das wäre mir persönlich egal, weil niemand derartige Suchmaschinen nutzt und diese idR auch kein Abbild (“Suchmaschinen-Cache”) deiner Website erstellen (dazu fehlen schlicht die nötigen Mittel / Ressourcen).[/quote]
Dem ist nichts mehr hinzuzufügen. Ich sehe es genau so.
[quote=“progandy”]Außerdem kann es helfen, Useragents von Bots per htaccess auszuschließen. Das sollte gegen normale Suchmaschinen helfen, ist aber auch nicht vollkommen sicher, da dieser jedezeit verändert werden kann.
user-agents.org/ --> alles, was mit R oder S gekennzeichnet ist, sperren [/quote]Nebenbei… Google besucht Seiten auch ab und an Anonym um u.a. zu detecten ob man der Suchmaschine ne Seite gibt die besonders schön für die Suchmaschine ist. [size=85](um Manipulation der Ergebnisse zu verhindern)[/size]
Weiß allerdings net ob Google das auch macht wenn der Spider ne Verboten Meldung bekam.
Ist auch nicht nur auf Google bezogen ich denke andere gute Suchmaschinen werden es auch so machen.
