Transcript
Page 1: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

Screen Scraping

Für Frühaufsteher

Page 2: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

Agenda

• Was ist Screen Scraping• Methoden• Beispiele• Frage / Diskussionsrunde

2Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Page 3: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

Ziele

• Verständnis für Screen Scraping entwickeln– Niemand wird hier und heute zum Profi!

• Nachdenken über eigene Webseitenverbesserungen und Abwehrmethoden ;)

3Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Page 4: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

Methoden

Scripte (wie bsp. PHP)und / oder Software

Page 5: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

Script Methode

• Download einer Website– Cookie(s) verwalten– Mit Redirects umgehen– SSL Anfrage– Proxies / verschiedene IP Adressen benutzen

• Informationen mittels REGEX, Xpath … auslesen

• Evtl. Formulareingaben emulieren

5Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Page 6: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

„scrapen“nicht mal eben so?

Page 7: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

7

Stadtbranchenbuch

Page 8: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

8

GoYellow

Page 9: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

9

Factory-Outlets.org

Page 10: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

Schwierigkeiten

• Änderungen am Webseiten Design• Ladeseiten zwischen „Formular abschicken“

und Ausgabe• JavaScript– Dynamisch modifizierte Formulare durch JS– Ajax

• Plugin: Flash, Java

10Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Page 11: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

Sicherheitsmechanismen

• Sperrung unser Server IP Adresse• Captchas• Zufällig erzeugte Formularfelder– <input type="submit" name="hash"

value="098f6bcd4621d373cade4e832627b4f6">– <input type="submit"

name="098f6bcd4621d373cade4e832627b4f6">

11Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Page 12: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

Die Lösung

Einen Browser nutzen

Page 13: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

Scrapen mit Browsern

• Die Seiten werden im Browser gerendert

13Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Page 14: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

iMacroKostenloses Firefox Addon

Kostenpflichtige Scripting Version(mit ein paar Extras)

14

Page 15: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

iMacro

• Browserplugin (Firefox & IE) oder als Standalone Software

• Löst alle schwierigen Fälle– Ajax– Javascript– Flash!

• In Verbindung mit so gut wie jeder Scriptsprache nutzbar

15Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Page 16: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

iMacro Beispiele

• StudiVZ Scraper• Bookmark Submitter• Captchas lösen

16Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Page 17: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

StudiVZ Scraper

17Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Page 18: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

Bookmark Submitter in PHP

Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010 18

Page 19: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

Bookmark Submitter

19Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Nur für SEO Campixx 2010 Teilnehmer

Page 20: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

Möglichkeiten:Captcha lösen mit iMacro

• Händische Eingabe während das Macro läuft– Human > kostet Arbeitszeit

• OCR Erkennung– Computer > Evtl. Fehlerhaft

• API Services – Human / Computer

20Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Page 21: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

Captcha lösen mit iMacro

21Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Page 22: Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

Fragen?