Daten automatisiert von Webseite lesen und verarbeiten

Hallo,

ich habe einen Adminbereich, bei dem ich auf die Datenbank selber keinen Zugriff habe.
Sondern nur auf die Daten selber…

Jetzt habe ich über 3000 Kontakte mit Adresse usw. die ich exportieren müsste.
Die URL hat immer ein Schema wie folgt:
domain.tld/admin/contacts.php?&group=org&coid=

Auf dieser Seite werden die Kontaktdaten dann in einem Formular angezeigt…
Die Formluarfelder haben imme den gleichen Namen, also es heißt überall coadress, coname, cogebdat usw. - das ändert sich nicht von Seite zu Seite.

Gibt es jetzt eine Möglichkeit mit einer Schleife über sämtliche Seiten bzw. in einem best. Interval drüber zu loopen und mir die values aus den einzelnen Feldern in eine CSV Datei oder ähnliches schreibt?

Programmiersprache ist mir eigentlich egal. Müsste es nur von meinem Webserver aus abrufen können da ich auch auf FTP der Seite keinen Zugang habe.

Das Problem ist leider dass die Entwicklerfirma in Konkurs gegangen ist und die Daten mitgenommen hat, jetzt ist der Zugriff auf die Daten nicht mehr möglich :S

Lg
Christof

Es gibt ne menge varianten wie man das Lösen kann :wink:

Da ich C++ nich kann sag ich dir mal cURL(PHP),ist zwar etwas langsamer aber ich kanns ;D

Das Hauptproblem das ich sehe ist, dass ich das Script auf meinem Server ausführen muss um auf den anderen Server zu zugreifen.
Der andere Server hat aber einen Flash Login, wo ich die Daten weiß - aber Flash kann ich ja schwer irgendwelche Formularinhalte per PHP übergeben - zumindest kenn ich die Möglichkeit nicht…

werd mir curl mal ansehen…

Danke!

Ich habe mal folgendes probiert…

<?php for($i = 1; $i <= 5000; $i++) { $url = "http://domain.tld/red/contacts.php?group=pers&srch_adv=no&coid=".$i; $ch = curl_init($url); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); ob_start(); curl_exec ($ch); curl_close ($ch); $cache = ob_get_contents(); ob_end_clean(); print($cache); } ?>

Als Ausgabe bekomme ich eine leere weiße Seite :S

Was habe ich falsch gemacht bzw. wie würde es den sonst funktionieren?
curl ist auf meinem Server enabled…

das soll doch auch sein :wink:

Ich denke mal du willst einfach nur die seiten ausgeben lassen?

Dann entferne den ganzen ob kram und setze CURLOPT_RETURNTRANSFER auf 0.

Du solltest es aber erst ohne schleife versuchen und es mit einer seite versuchen.

Ich habe es jetzt so probiert…

$url = "http://domain.tld/red/contacts.php?group=pers&srch_adv=no&coid=2714"; $ch = curl_init($url); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0); curl_exec ($ch); echo curl_multi_getcontent($ch); curl_close ($ch);

habe es ebenfalls mit CURLOPT_RETURNTRANSFER auf 1 probiert, ohne curl_multi_getcontent, vor exec ein echo vor curl_multi_getcontent kein echo usw. alle möglichkeiten probiert…

einziges bei der Variante:

$url = "http://domain.tld/red/contacts.php?group=pers&srch_adv=no&coid=2714"; $ch = curl_init($url); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0); echo curl_exec ($ch); curl_close ($ch);
bekomme ich als Ausgabe eine “1”.

Sonst gibt er mir nie etwas aus…nur eine weiße Seite :S

Ich hab curl lang nicht mehr benutz^^

Eigentlich kannst du RETURNT_RANSFER weglassen.

Und wenn das weg ist müsstest du auch kein echo() brauchen.

So wirklich funktioniert das nicht, ich denke es funktioniert wegen dem Flash-Login nicht, weil man ja eigentlich auf die Seite keinen Zugriff ohne Login hat - und da dürfte eine bestehende Session im Browser auch nichts ändern wenn das Script dann von einem anderen Server aus ausgeführt wird…

Ich habe jetzt einen anderen Ansatz den ich angehen will…
Ich will mir den Quellcode jedes Kontaktes runterladen - den habe ich dann lokal gespeichert.

Nur wie kann ich jetzt wenn ich ein komplettes HTML-Dokument habe, Werte der einzelnen Formularfelder auslesen?

D.h. ich habe z.B. folgendes:

...
<select size="1" name="cogend"><option selected>Herr</option><option>Frau</option><option>(keine)</option></select>
...
<input type="text" name="covname" size="16" maxlength="40" value="xyz">
...

Die Namen der Formular-Felder bleiben immer die selben!
Wie kann ich jetzt das value von jedem Feld bekommen?

Lg
Christof

Lern PHP und HTML -.-

Und es macht keinen unterschied obs ein Flash,java oder sonstwas fürn login client code ist.
Ich dachte schon du hättest es kapiert.
Ich sag nur client-server