Sicherheittipps rund um das Internet, Viren, Würmer ,DDOS alles hat keine Chance mehr http://netsplit.bplaced.net/ Zur Webseite
Bitte nicht
I:188.226.227.226.U:.Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)UH:02.11.2014 - 20:45
I:188.226.227.226.U:.Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)UH:02.11.2014 - 20:45
I:188.226.227.226.U:.Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)UH:02.11.2014 - 20:45
Schon nervig, wie blöd die die webmaster halten… verfälschte user agents… auf holländische Servern…
Ach ich finde diese Bots besonders lustig, die mit jedem Zugriff den user-agent einfach wechseln. Bei 1000 Zugriffen…genauso viele andere Browser und Systeme verwendet, alles innerhalb von einpaar Minuten 
Mir gehts nur um die Spionage, meistens meldest dich bei webseiten wie webseitenbewertung.com an, danach wird die webseite plötzlich gecrawalt, minuten später haste dann plötzlich andere crawler an der packe…
Was die letzendlich Crawlen, wäre mal interessant. Wie weit die den Datenschutz missbrauchen.
Ich wusste bis vor kurzem auch nicht wie viele Link Profiler und Konsorten es tatsächlich gibt.
Bots be crawlin’. Solange sie nicht versuchen, den Adminbereich meines nicht vorhandenen Joomlas aufzurufen… soll’s mir egal sein.
Einige Variationen von Goggle-Bots zu Einträgen hinsichtlich des user-agent interpretiere ich eher so, daß die herausfinden wollen, ob abhängig vom verwendeten Programm andere Inhalte ausgeliefert werden. Zum einen können die so wohl Suchergebnisse etwa für mobile Telephone optimieren, aber auch suspekte ‘Suchmaschinenoptimierung’ besser erkennen.
Bei einigen Seiten/Inhalten bekomme ich auch mal einen Schub von scheinbar menschlichen Besuchern, also unterschiedliche IP, unterschiedliche Einträge zum user-agent. Weil solche Häufungen aber weitab von den normalen statistischen Schwankungen (Poisson-Statistk, Zählstatistik) sind, vermute ich da auch einen Bot-Schwarm oder sowas dahinter, der offenbar nach irgendwas sucht. Das macht der Schwarm aber offenbar nicht allzu schlau, was man daran erkennen kann, auf was in welcher Taktrate wiederholt zugegriffen wird.
Davon zu unterscheiden sind offenbar blödsinnige Anfragen, die man als etwas hilflose Angriffe auf PHP-Skripte interpretieren kann, um da offenbar eigene Skriptfragmente einzuschleusen, das sieht man auch häufiger, ist aber leicht aufgrund der Art der Anfragen von dem Schwarm-Zugriff zu unterscheiden.
Nun wenn schlecht läuft, gehe ich bei einigen meiner Projekte davon aus, daß mehr als 90 Prozent der Zugriffe von Bots stammen, wenn es gut läuft, sind es vielleicht immerhin noch die Hälfte. Insgesamt scheint also ein erheblicher Anteil von Anfragen von gar nicht oder mehr oder weniger gut getarnten Bots zu stammen.
wenn ich meine logfile so durch gehe, war eigentlich es ordentlich, kein einziger crawler nur paar billige webproxys und ein kleiner user Angriff mit ner Zero-Day-Attacke :(, aber gut die webseite hat ein page rank von 0, daher ist die seite uninteressant für die meisten crawler…
