Wie können wir (Suchmaschinen-)Nutzer besser verstehen?

Dirk Lewandowski Hochschule für Angewandte Wissenschaften Hamburg

Suchmaschinen

E-Commerce

Site-intern und andere Datenbestände

Nutzer verstehen – was heißt das eigentlich?

•  Die Wünsche der Nutzer an ein ideales Suchsystem kennen?

•  Die Suchanfragen der Nutzer interpretieren? •  Die konkreten Probleme der Nutzer mit einem konkreten System kennen?

•  Die Informationsbedürfnisse der Nutzer eines konkreten Systems kennen?

•  ... ?

Modell der Suchmaschinen-Qualität (Lewandowski & Höchstötter 2007, ergänzt)

•  Qualität des Index –  Größe des Datenbestands, Abdeckung des Web –  Abdeckung bestimmter Bereiche (Sprachräume, Länder) –  Überschneidungen der Indices –  Aktualität des Datenbestands

•  Qualität der Suchresultate –  Retrievaleffektivität –  Zuverlässigkeit der Suchergebnisse –  Zufriedenheit der Nutzer –  Überschneidungen der (Top-)Ergebnisse

•  Qualität der Suchfunktionen •  Nutzerfreundlichkeit + Benutzerführung

–  Aufbau der Trefferseiten

Modell der Suchmaschinen-Qualität (Lewandowski & Höchstötter 2007, ergänzt)

•  Qualität des Index –  Größe des Datenbestands, Abdeckung des Web –  Abdeckung bestimmter Bereiche (Sprachräume, Länder) –  Überschneidungen der Indices –  Aktualität des Datenbestands

•  Qualität der Suchresultate –  Retrievaleffektivität –  Zuverlässigkeit der Suchergebnisse –  Zufriedenheit der Nutzer –  Überschneidungen der (Top-)Ergebnisse

•  Qualität der Suchfunktionen •  Nutzerfreundlichkeit + Benutzerführung

–  Aufbau der Trefferseiten

Methoden

•  Logfile-Analysen –  Alle Nutzerinteraktionen in einer Suchmaschine

•  Online-Umfrage –  Befragung mittels Online-Fomularen

•  Retrievaltest –  Abfrage der Qualität von Suchergebnissen mittels Befragung

•  Protokollbasierte Nutzerstudie –  Beobachtung analog der Logfile-Analyse, aber gezielt ausgewählte Nutzer

•  Usability-Test –  Aufgabenbasierte Befragung i.d.R. im Labor; Frage nach Beurteilung und Beweggründen

•  Eyetracking –  Aufzeichnung von Blickverläufen und Fixationen, Frage nach der Wahrnehmung von

Angeboten/Elementen von Webseiten

Logfile-Analysen

•  Verständnis des Nutzerverhaltens aus den echten Interaktionen mit einer Suchmaschine.

+  Komplette Erfassung aller Interaktionen mit der Suchmaschine, daraus in der Regel eine große Stichprobe.

+  Gut geeignet, um einen Einblick in die Suchanfragen der Nutzer zu bekommen.

-  Keine Informationen über die Nutzer.

-  Keine Vergleiche möglich, da Daten nur von der eigenen Suchmaschine vorliegen.

-  Kann erst eingesetzt werden, wenn ein fertiges System mit echten Nutzern vorliegt.

Sonderfall: Suchanfragen verstehen

•  bbl •  vatikan •  stockbrot •  motonetix •  nedcom •  fußball •  drehscheibe •  frauentausch •  seelenfarben •  kachelmannwetter •  osterei •  wie ich •  wow

Beispiel: Navigationsorientierte Suchanfragen anhand von Klicks bestimmen

(Lewandowski, Drechsler & von Mach, im Druck)

Suchanfragen im Kontext

Online-Umfrage

•  Befragung der echten Nutzer einer Suchmaschine

+  Es lässt sich relativ schnell eine große Nutzerzahl befragen.

+  Auswertung wenig problematisch.

-  Selbstselektion der Befragten.

-  Es können nur Nutzer erreicht werden, keine Nichtnutzer.

Retrievaltest

•  (Anonymisierte) Bewertung der Qualität der Ergebnisse.

+  Etablierte Methode zur Bewertung der Ergebnisqualität.

+  Möglichkeit, große Mengen von Treffern bewerten zu lassen.

+  Die Ergebnisse werden ohne Kenntnis der Suchmaschine(n) bewertet, Markeneffekte u.ä. entfallen daher.

-  Ergebnisse werden isoliert betrachtet, daher Rückschlüsse auf Ergebnismengen problematisch.

-  Suchaufgaben artifiziell, dadurch Verzerrung der Ergebnisse möglich.

Retrievaltest

Retrievaltest: Ergebnisse

Protokollbasierte Nutzerstudie

•  Protokollierung der Interaktionen ausgewählter Nutzer mit der Suchmaschine; basiert auf konkreten Aufgabestellungen.

+  Verbindung von echten Interaktionsdaten mit Daten über die konkreten Nutzer.

+  Vor- und Nachbefragungen möglich.

+  Erfassung problemlos möglich; Protokollierung während des Tests ist nicht störend.

-  In der Regel auf eine relativ kleine Nutzerzahl beschränkt.

-  Rückmeldungen werden nur über Fragebögen erfasst.

Usability-Test

•  Bei der Bearbeitung von Aufgaben werden die Nutzer im Labor beobachtet und befragt.

+  Gute Methode, um Probleme bei der Nutzung und Nutzerwünsche herauszufinden.

+  Möglichkeit der Nachfrage; Eingehen auf den individuellen Nutzer.

-  In der Regel geringe Nutzerzahlen, da jeder Nutzer einzeln ins Labor eingeladen werden muss.

-  Verfälschung durch Laborsituation.

Beispiel: Beobachtung der Nutzung von Suchvorschlägen

Beispiel: Vergleich von anonymisierten Vorschlagssets

Eyetracking

•  Beobachtung des Blickverhaltens während der Arbeit am Bildschirm.

+  Gute Methode, um die Platzierung von Elementen auf den Seiten zu prüfen.

-  In der Regel geringe Nutzerzahlen, da jeder Nutzer einzeln ins Labor eingeladen werden muss.

-  Verfälschung durch Laborsituation.

xxxx

•  xxxx

xxxx

•  xxxx

xxxx

•  xxxx

Methodenkombinationen

Methodenkombinationen

•  Typische Beispiele für Grenzen der Untersuchungsmethoden:

–  Der Retrievaltest ergibt, dass die Ergebnisse im Vergleich zur Konkurrenz gut sind. Die Nutzer verwenden die Suchmaschine trotzdem nicht.

–  Der Usabilitytest ergibt, dass die Qualität der Ergebnisse schlecht ist.

–  Die Logfileanalyse ergibt, dass Nutzer immer wieder an einer bestimmten Stelle in der Interaktion abbrechen.

–  Das Eyetracking zeigt, dass die Drill-Down-Menüs nicht wahrgenommen werden.

à Nur durch Methodenkombination können Suchsysteme adäquat evaluiert werden.

Methodenkombination: Beispiele

Evaluierung und Verbesserung der Musiksuche •  Laborstudie

–  Aufgabenbasierte Usability-Tests

–  Eyetracking

•  Retrievaltest

à U.a. konnten Gründe für die von den Nutzern bemängelte Ergebnisqualität gefunden werden.

Methodenkombination: Beispiele

Usability-Studie zur lokalen Suche bei T-Online •  Laborstudie

–  Aufgabenbasierte Usability-Tests

–  Eyetracking

•  Logfile-Analyse

à U.a. konnten in der Laborstudie aufgetretene Schwierigkeiten mit mehreren Eingabefeldern anhand der Logfiles belegt werden.

Methodenkombination: Beispiele

Interpretation von Suchanfragen •  Logfile-Analyse •  Online-Umfrage (getriggert)

à U.a. konnte gezeigt werden, dass Nutzer Schwierigkeiten bei der Beschreibung/Klassifizierung ihrer eigenen Informationsbedürfnisse haben.

Fazit

1.  Bislang keine etablierte Methodik zur Evaluierung von Suchsystemen.

2.  Bei der Evaluierung von Suchsystemen sollte jeweils eine geeignete Methodenkombination gewählt werden.

3.  Evaluierung des Suchprozesses und der Suchergebnisse sind essentiell für die Verbesserung von Suchsystemen.

Vielen Dank für Ihre Aufmerksamkeit Dirk Lewandowski dirk.lewandowski@haw-hamburg,de http://www.bui.haw-hamburg.de/lewandowski.html