Prof. Dr. Dirk Lewandowski Hochschule für Angewandte Wissenschaften Hamburg dirk.lewandowski@haw-hamburg.de

Relevance Assessment Tool

Was ist das Relevance Assessment Tool?

•  Software, die flexible Plattform bietet, um vielfältige Studien mit und über Websuchmaschinen durchzuführen

•  Werkzeug zum Design und zur Durchführung von Studien

Ausgangsfrage für unsere Suchmaschinenuntersuchungen

•  Wie gut sind die Treffer von Suchmaschinen? •  Bietet Google wirklich die besten Ergebnisse?

•  Typisches Testdesign –  Auswahl von Suchanfragen/-aufgaben

–  Suchanfragen werden an Suchmaschinen geschickt

–  Ergebnisse werden erfasst/gespeichert

–  Ergebnisse werden gemischt und Herkunft unkenntlich gemacht

–  Ergebnisse werden von Juroren bewertet

–  Bewertungen werden zusammengeführt und den Suchmaschinen zugeordnet –  Auswertung

Unterstützung durch RAT

Test%design%SERP%%

screen%scraping%

Collec5ng%%relevance%%judgments%

Results%%download%

1% 2% 3% 4%

Test%design%SERP%%

screen%scraping%

Collec5ng%%relevance%%judgments%

Results%%download%

1% 2% 3% 4%

Test%design%SERP%%

screen%scraping%

Collec5ng%%relevance%%judgments%

Results%%download%

1% 2% 3% 4%

Test%design%SERP%%

screen%scraping%

Collec5ng%%relevance%%judgments%

Results%%download%

1% 2% 3% 4%

Test%design%SERP%%

screen%scraping%

Collec5ng%%relevance%%judgments%

Results%%download%

1% 2% 3% 4%

Test%design%SERP%%

screen%scraping%

Collec5ng%%relevance%%judgments%

Results%%download%

1% 2% 3% 4%

Test%design%SERP%%

screen%scraping%

Collec5ng%%relevance%%judgments%

Results%%download%

1% 2% 3% 4%

Welche Möglichkeiten bietet das Relevance Assessment Tool?

•  Völlig individuelle Skalen und Aufgaben –  Administrator kann alles selbst bestimmen, z.B. Sprache, demographische

Abfrage, Suchaufgaben, usw.

•  Erhebung verschiedenster Daten •  durch die individuelle Erstellung von Skalen und Aufgaben

•  Komfortabel nutzbar •  da es sich um eine Web-Anwendung handelt, ist keine Installation notwendig

Anwendungsmöglichkeiten des Relevance Assessment Tools (Bsp.)

•  Vergleich semantischer Suchdienste mit konventionellen Suchmaschinen •  Vergleich verschiedenster Download-Musikdienste im Internet

•  Untersuchung automatisch generierter Suchvorschläge verschiedener Suchmaschinen

•  Vergleich der Universal-Search Ergebnisse von Google und Bing

•  Identifikation von bedenklichen Inhaltsstoffen zur Lebensmittelkontrolle im Internet

•  Präsenz von Facebook- und Twitter-Seiten von deutschen Unternehmen in Suchmaschinen.