Website spidern?

Hallo Leute!

Wer kennt sich aus in Sachen “Spidering” bzw. hat gute Links für mich um mich durchzulesen?
Was bringt das Spidern von Seiten genau und wie macht man das?

lg

Hallo Khan,

hier wird aktuell über das crawlen von Seiten diskutiert.

Ein Spider oder Crawler funktioniert im Prinzip wie ein Besucher, der sich eine Website anschaut, nur dass es ein Programm ist. Google zum Beispiel lädt sich wirklich die einzelnen Webseiten herunter und analysiert die dann. Unter anderem auf Backlinks wie im Ayom Forum diskutiert wird, aber auch auf relevante Inhalte.

Wenn du zum Beispiel deinen Spider / Crawler so programmierst, dass er nach Website mit dem Begriff “apartment teneriffa” funktioniert er wie eine Suchmaschine.

Spider / Crawler werden oft genutzt um einen Index zu erstellen, z.B. haben einige Webkataloge eigene Bots, die nach Websites in ihrer Nische / Branche suchen.