14
Leitfaden für moderierte Benutzertests TestingTime Whitepaper - Januar 2017 Dagmar Muth - Amazee Labs Während eines Remote Benutzertests

Leitfaden für moderierte Benutzertests€¦ · Whitepaper Leitfaden für moderierte Benutzertests - 1 Vorwort Erfolgreiche Produkte und Services sind selten ein Zu-fall. Design Teams

  • Upload
    others

  • View
    4

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Leitfaden für moderierte Benutzertests€¦ · Whitepaper Leitfaden für moderierte Benutzertests - 1 Vorwort Erfolgreiche Produkte und Services sind selten ein Zu-fall. Design Teams

Leitfaden für moderierte BenutzertestsTestingTime Whitepaper - Januar 2017

Dagmar Muth - Amazee LabsWährend eines Remote Benutzertests

Page 2: Leitfaden für moderierte Benutzertests€¦ · Whitepaper Leitfaden für moderierte Benutzertests - 1 Vorwort Erfolgreiche Produkte und Services sind selten ein Zu-fall. Design Teams

Whitepaper – Leitfaden für moderierte Benutzertests - www.testingtime.com 1

Vorwort

Erfolgreiche Produkte und Services sind selten ein Zu-fall. Design Teams wenden regelmässig benutzerzen-trierte Designmethoden an, um ein stimmiges Benut-zererlebnis zu entwickeln und später sicherzustellen. Heutzutage gibt es eine grosse Vielfalt an verschiede-nen Designprozessen und Methoden. Eine der bekann-testen und effektivsten ist moderiertes Benutzertesten (moderated User Testing).

Der wohl bekannteste Verfechter von User Testing ist Jakob Nielsen. Mit seiner bekannten Studie hat er be-wiesen, dass bereits mit 5 Testpersonen 75% aller Usa-bility Probleme in einem Testobjekt aufgedeckt werden können.

User Testing ist keine „Rocket Science“. Das Handwerk kann mit gesunder Neugier und regelmässigem Üben innert wenigen Tagen erlernt werden. Gutes Zuhören und Beobachten ist auch hier die halbe Miete. In diesem Whitepaper zeigen wir Schritt für Schritt auf, wie mögliche Usability Schwachstellen digita-ler Produkte (Webseiten, Apps etc.) mit Hilfe von moderierten Benutzertests aufgedeckt werden. Dieser Leitfaden richtet sich an UX Professionals als Re-fresher sowie an Personen, die sich mit dem Thema „User Testing“ im agilen Umfeld befassen.

Autoren

Reto Lämmler

Co-Founder & CEO

TestingTime AG

Rahel Vils

virtuallyhandmade GmbH

TestingTime.com

Mit unserem onlinebasierten Test-

personen-Rekrutierungsservice

unterstützen wir Interaction Designer,

Usability Experten und Produkt

Manager effizienter, schneller und

preiswerter an reales Benutzerfeedback

zu kommen. So können Webseiten oder

Apps auf ihre Benutzbarkeit evaluiert,

und auf die Bedürfnisse des Endnutzers

angepasst werden. Dadurch wird die

Benutzerzufriedenheit spürbar ge-

steigert und die Konkurrenzfähigkeit des

Produktes oder der Dienstleistung auf

dem Markt gestärkt.

Im Vergleich zu Marktforschungs-

agenturen und Panelanbietern über-

zeugen wir mit einer attraktiven und

transparenten Preisgestaltung

sowie einem schnellen und zuverlässigen

Service. Eine Bestellung kann bis zu 48

Std. vor dem Benutzertest direkt über

das Online-Bestellformular in weniger als

5 Minuten aufgegeben werden. Der Preis

beinhaltet sowohl die Teilnahmeprämie

der Testpersonen als auch die Ersatz-

suche bei Ausfällen.

Kontakt

TestingTime AG

Bahnhofstrasse 3

8001 Zürich

E-Mail: [email protected]

Page 3: Leitfaden für moderierte Benutzertests€¦ · Whitepaper Leitfaden für moderierte Benutzertests - 1 Vorwort Erfolgreiche Produkte und Services sind selten ein Zu-fall. Design Teams

Verzeichnis

03 1. Vorbereitung eines Benutzertests 1.1 Ziel definieren 1.2 Testobjekt vorbereiten 1.3 Testmethode wählen 1.4 Testskript verfassen 1.5 Testpersonen rekrutieren 1.6 Durchführungsort & Infrastruktur vorbereiten 1.7 Involvierte Personen und Rollenverteilung festlegen 1.8 Testlauf durchführen

09 2. Durchführung 2.1 Einführung (WarmUp) 2.2 Während dem Test (Main) 2.3 Abschluss (CoolDown)

10 3. Auswertung & Analyse

12 4. Nächste Schritte

13 5. Zusammenfassung

Page 4: Leitfaden für moderierte Benutzertests€¦ · Whitepaper Leitfaden für moderierte Benutzertests - 1 Vorwort Erfolgreiche Produkte und Services sind selten ein Zu-fall. Design Teams

Whitepaper – Leitfaden für moderierte Benutzertests - www.testingtime.com 3

Um aus einem Benutzertest möglichst viele relevante Erkenntnisse gewinnen zu können, bedarf es einer gründlichen Vorbereitung. Es sollte zum Beispiel von Anfang an klar definiert sein, an wen sich das End-produkt richtet. Hierzu empfiehlt es sich im Vorfeld Personas und Szenarien zu erarbeiten. Diese bei-den Tools unterstützen das Projektteam während der ganzen Umsetzung, ein gemeinsames Verständ-nis für die wesentlichen Bedürfnisse des Endnutzers zu erlangen.

1.1 Ziel definieren

In welcher Form und in welchem Umfang ein Test durchgeführt wird, ist abhängig von dem Ziel, das ver- folgt wird. Das Vorgehen unterscheidet sich stark, je nachdem, ob eine bestehende Seite auf Grund eines geplanten Redesigns überprüft wird, eine neue Funktion auf ihre Benutzbarkeit getestet wird oder die Entscheidungsträger mit Hilfe eines Tests überzeugt werden müssen. Die Ausgangslage jedes Benutzertest ist daher in erster Linie das Festlegen des Ziels der Untersuchung und was genau erreicht werden soll. Darauf aufbauend werden dann die weiteren Schritte abgeleitet und Entscheidungen getroffen.

1.2 Testobjekt vorbereiten

Der Kern jedes Benutzertests ist das Testobjekt. Ab-hängig von dem Ziel und dem aktuellen Projektstand besteht dieses in einem dementsprechend angemesse-nen Fertigungsgrad. Lo-Fidelity PrototypenDiese kommen meistens ganz am Anfang von einem Projekt zum Einsatz. Unter „Lo-Fidelity“ versteht man Papier-, sowie erste einfache interaktive Prototypen. Diese werden vor allem verwendet, um ein erstes Kon-zept oder eine Idee zu validieren. Zu diesem Zweck soll-te der Prototyp so einfach wie möglich gehalten werden und ohne jegliche „Hi-Fidelity Elemente“ (Visual Design,

1. Vorbereitung eines Benutzertests

Papierprototyp (Lo-Fi)

Interaktiver Prototyp (Lo-Fi)

Visual Design (Hi-Fi)

Page 5: Leitfaden für moderierte Benutzertests€¦ · Whitepaper Leitfaden für moderierte Benutzertests - 1 Vorwort Erfolgreiche Produkte und Services sind selten ein Zu-fall. Design Teams

Whitepaper – Leitfaden für moderierte Benutzertests - www.testingtime.com 4

unnötige Effekte, etc.) auskommen. Nur so kann sicher-gestellt werden, dass die Reaktion der Testperson aus-schliesslich auf grundsätzlicher Kritik basiert, und nicht von ästhetischen Dingen (z.B. mir gefällt der Button nicht) beeinflusst wurde.

Hi-Fidelity PrototypenDarunter versteht man fertige Webseiten, Apps oder pixelgenaue Visual Designs. Je ausgereifter ein Prototyp ist, desto weniger wird er rein inhaltlich in Frage gestellt. Im Gegensatz zu „Lo-Fidelity Prototypen“ kann hier mit Hilfe eine Benutzertests auch hilfreiches Feedback zu visuellen Aspekten in Erfahrung gebracht werden.

Um den Kontext für die Testperson eindeutig festzule-gen, ist es in beiden Fällen wichtig, dass das Testobjekt das angestrebte Benutzererlebnis so realistisch wie möglich imitiert. Das kann zum Beispiel in Form eines illustrierten Mobiltelefons als Grundlage für den „Lo-Fi-delity Prototypen“ sein, oder in dem man den „Hi-Fide-lity Prototypen“ auf einem Mobiletelefon testen lässt.

1.3 Testmethode wählen

Es gibt eine Vielzahl an Testmethoden und jeder Exper-te hat seine persönlichen Vorlieben. Die Wahl der pas-senden Methode sollte in erster Linie von dem Reife- grad (Fidelity) des zu testenden Prototypen abhängig gemacht werden. Im Rahmen dieses Whitepapers wird in den folgenden Abschnitten vertiefter auf moderierte In-House Benutzertests eingegangen.

Hallway Testing (LoFi)

Eine einfache und informelle Art, um schnell ein erstes Feedback zu erhalten. Dabei befragt man Leute, welche einem am Arbeitsplatz oder auf der Strasse begegnen. Der Test sollte nicht länger als 5 bis 10 Minuten dauern und lediglich überprüfen, ob das Konzept grundsätzlich verstanden wird.

In-House User Test (LoFi/HiFi)

Die gängigste Methode, um mögliche Usability Proble-me zu erörtern. Der Moderator, die Testperson und der Beobachter befinden sich meistens im selben Raum. Metadaten wie Körperhaltung, Gestik und Mimik kön-nen auf diese Weise besser aufgenommen werden und fliessen ebenfalls in die Beurteilung mit ein.

Remote User Test (LoFi/HiFi)

Ist eine ortsunabhängige und schnelle Art, eine Websei-te oder ein Produkt zu testen. Der grosse Vorteil beim „Remote User Test“ ist, dass sich die Testperson in ihrer gewohnten Umgebung befindet und der Stressfaktor somit geringer ist. Durch das natürliche Umfeld werden auch Probleme aufgedeckt, die bei einem einwand-frei vorbereiteten Test Setup erst gar nicht aufgetre- ten wären. Es wird zwischen moderierten und unmode-rierten „Remote Tests“ unterschieden. Der bekannteste unmoderierte Dienst ist www.usertesting.com.

Expert Review (LoFi/HiFi)

Als wertvolle Ergänzung kann zum Aufdecken von mög-lichen Schwachstellen auch ein Experte hinzugezogen werden. Die so gewonnenen Erkenntnisse basieren auf Statistiken und Erfahrungen des jeweiligen Experten.

Page 6: Leitfaden für moderierte Benutzertests€¦ · Whitepaper Leitfaden für moderierte Benutzertests - 1 Vorwort Erfolgreiche Produkte und Services sind selten ein Zu-fall. Design Teams

Whitepaper – Leitfaden für moderierte Benutzertests - www.testingtime.com 5

Es kann daher nicht mit Sicherheit gesagt werden, ob die identifizierten Punkte in der Praxis auch tatsächlich zu Usability Problemen führen.

Usability Lab (HiFi)

Ein „Usability Lab“ übernimmt meistens die gesamte Abwicklung des Usability Tests, von der Vorbereitung bis hin zur Durchführung und Auswertung. Vorausge-setzt die finanziellen Mittel sind vorhanden, ist eine solche Zusammenarbeit zu Beginn oder zum Abschluss eines Projekt wünschenswert. Mögliche Agenturen mit einem Labor in der Schweiz sind Soultank, Ergonomen und e&t.

Quantitative Testmethoden (HiFi)

Bei Webseiten, Produkten oder Diensten (z.B. NZZ, Doodle etc.), die bereits länger online sind und eine grosse Anzahl an Benutzern aufweisen, empfiehlt es sich für diverse Hypothesen auch quantitative Test- methoden anzuwenden. Die bekannteste dieser Methoden ist A/B Testing, bei-welcher die Hälfte der Besucher auf eine Variante A, und die andere Hälfte auf eine Variante B derselben Funktionalität geleitet wird. Mittels einem Konversions- ziel wird gemessen, welche Variante erfolgreicher zum

Ziel führt. Google Analytics bietet die Infrastruktur für A/B Tests sowie weitere Funktionen zum Durchführen von quantitativen Experimenten und Analysen.

Drunk Test (LoFi/HiFi)

Bei dieser weniger seriösen Methode wird das Thema von einer sehr unkonventionellen und humorvollen Seite angegangen. Die Probanden testen das Produkt unter Alkoholeinfluss, wodurch man unverschämt of- fene und authentische Reaktionen erhält. Die bekann- teste Webseite, welche „Drunk Tests“ durchführt, ist www.threesheetsresearch.com (sehr sehenswert).

David Tschapnizky - GoogleWährend eines In-House Benutzertests

Page 7: Leitfaden für moderierte Benutzertests€¦ · Whitepaper Leitfaden für moderierte Benutzertests - 1 Vorwort Erfolgreiche Produkte und Services sind selten ein Zu-fall. Design Teams

Whitepaper – Leitfaden für moderierte Benutzertests - www.testingtime.com 6

1.4 Testskript verfassen

Ein typisches Testskript besteht aus einem WarmUp, einem Hauptteil und einem CoolDown. Es beinhaltet zwischen 5 bis 10 Aufgaben und die Durchführung dau-ert in der Regel zwischen 30 - 60 Minuten. Um die Zeit optimal zu nutzen und vergleichbare Ergebnisse zu er-halten, ist ein gut strukturiertes Testskript vonnöten. Es dient als Leitfaden für den Moderator und wird nicht an die Testperson abgegeben. Darin werden die Auf-gaben, welche die Testperson zu bewältigen hat, der Reihe nach aufgelistet und mit einer Hypothese und einem Ziel ergänzt. Die Hypothese hilft dem Modera-tor während des Tests nachzuvollziehen, welche Ab-sicht die jeweilige Aufgabe verfolgt. So kann verhindert werden, dass dem Moderator während des Tests der Faden verloren geht. Das zuvor festgelegte Ziel hilft bei der späteren Analyse.

Der jeweilige Kontext des Tests wird der Testperson mit Hilfe eines Szenarios erläutert. Darunter versteht man eine Situationsbeschreibung, welche die Testper-son dabei unterstützt, sich in die für den Test relevante Ausgangssituation hineinzuversetzen. Darauf aufbau-end folgen die Fragen.

AufgabenstellungDie einzelnen Aufgaben sollten so realistisch, eindeutig und kurz wie möglich formuliert werden. Dabei muss ganz genau darauf geachtet werden, dass die Fragen nicht suggestiv gestellt werden. Damit wird verhindert, dass die Testperson auf Grund der Frage in eine vorbe-stimmte Richtung gelenkt wird.

Suggestiv: Auf welcher Unterseite findest Du Informatio-

nen über das Team?

Neutral: Wo findest Du mehr Informationen über die

Leute hinter diesem Webdienst?

Die Aufgaben sollten einem logischen Ablauf folgen, und wenn möglich dem natürlichen Vorgehen der Be-nutzer entsprechen. (z.B. Einstieg über die Startseite und erst im Anschluss auf eine Unterseite fokussieren).

WarmUp (10% der Zeit)

Die Einstiegsfragen sollten möglichst einfach sein, denn so kann die Testperson immer mit einem Er-folgserlebnis beginnen.

Mögliche Fragen sind: Was ist Dein erster Eindruck der Seite?

Was sticht Dir als Erstes ins Auge?

Haupteil (70% der Zeit)

Sobald sich die Testperson aufgewärmt und an die un-gewohnte Situation gewöhnt hat, folgen die relevanten Aufgaben. Es empfiehlt sich eine Kombination aus off-enen und konkreten Fragen zusammenzustellen.

Offene Fragestellungen (“Kaufe einen passenden Jog-

ging-Schuh”) sind äusserst spannend, da man viel über das Vorgehen der Benutzer und deren Denkweise (Mentales Modell) lernt. Dabei können unerwartete Er-gebnisse und wertvolle Erkenntnisse zur allgemeinen Einschätzung und Wahrnehmung gewonnen werden. Der Vergleich für die Auswertung ist allerdings er-schwert, da die Resultate der einzelnen Testpersonen unterschiedlich ausfallen werden.

Konkrete Fragestellungen (“Kaufe einen Nike Xtreme

300 Schuh”) lassen sich hingegen besser vergleichen, da meist nur ein primärer Pfad zum Ziel führt. Mit solchen konkreten Fragestellungen kann die Effizienz einer In-teraktion geprüft werden.

CoolDown (20% der Zeit)

Die spannendsten Erkenntnisse werden meistens im darauffolgenden Gespräch gewonnen. Daher sollte hierfür auch ausreichend Zeit eingeplant werden.

Mögliche Fragen sind:1. Was ist Dein allgemeiner Eindruck der Website/App?

2. Nenne spontan 3 Schlüsselwörter, die für Dich die Webseite/App beschreiben.

3. Welche 3 Dinge findest Du an dieser Webseite/ App am besten und welche am schlechtesten?

4. Würdest Du diese Webseite/App in Zukunft benutzen und wenn Wieso? Oder wieso nicht?

5. Würdest Du diese Webseite/App an Freunde und Arbeitskollegen weiter empfehlen?

6. Hast Du noch Fragen oder Anmerkungen?

Page 8: Leitfaden für moderierte Benutzertests€¦ · Whitepaper Leitfaden für moderierte Benutzertests - 1 Vorwort Erfolgreiche Produkte und Services sind selten ein Zu-fall. Design Teams

Whitepaper – Leitfaden für moderierte Benutzertests - www.testingtime.com 7

1.5 Testpersonen rekrutieren

Die richtigen Leute für den Test zu rekrutieren kann sehr zeitintensiv sein und sollte auf keinen Fall unter-schätzt werden. Um die Absprungrate tief zu halten, sollte die Rekrutierung zeitnah am Testdatum vor-genommen werden (höchstens 3-4 Tage im Voraus). Ausfälle sollten von Anfang an einkalkuliert werden, was bedeutet, dass mehr als die benötigte Anzahl von Testpersonen mobilisiert werden müssen. Wer die Re-krutierung selber vornimmt, sollte ausreichend Zeit einplanen, um die Testpersonen anzuschreiben, sie mittels einer Umfrage zu screenen und vor dem Test angemessen zu briefen.

Rekrutierungsquellen• Interne Benutzerdatenbanken• Soziale Medien wie Facebook, Twitter und Google+• RonOrp• Newsletter• Eigene Webseite

Auslagern der Rekrutierung• www.testingtime.com• Marktforschungsagenturen wie z.B. Intervista

AuswahlUm aussagekräftige und wertvolle Ergebnisse mit ei-nem Benutzertest zu erzielen, ist es wichtig bei der Re-krutierung der Testpersonen darauf zu achten, dass diese der eigentlichen Zielgruppe (Persona) entspre-chen. Zudem sollte man unbedingt auf einen ausge-wogenen Mix an Testpersonen Wert legen, um zu ver-hindern, dass man einseitige Resultate erhält. (z.B. nicht

nur Männer oder ausschliesslich Jugendliche).

Damit Usability-Probleme auf Grund von Vorkenntnis-sen nicht umgangen werden, sind involvierte Team- mitglieder oder Mitarbeiter, die bereits Kenntnis von dem Testobjekt haben, denkbar ungünstige Probanden. Familienangehörige und Freunde eignen sich ebenfalls nicht als Testpersonen, da sie selten der eigentlich-en Persona entsprechen und voreingenommen sind. Diese Personen tendieren dazu nett zu sein, was nicht zu ehrlichen und somit verwertbaren Resultaten führt. Auch von einer Befragung mit willkürlichen Testperso-nen ist in den meisten Fällen mit Nachdruck abzuraten. Die Ergebnisse eines solchen Tests wären mit enormer

Vorsicht zu geniessen, da man sonst auf Grund von einem verfälschten Testergebnis eine folgenschwere Entscheidung fällen könnte.

Allen Regeln zum Trotz: testen, egal mit wem, ist immer

noch besser, als gar nicht zu testen.

Die richtige AnzahlEines der meist diskutierten Themen, wenn es um das Aufdecken von Usability Problemen geht, ist die rich-tige Anzahl an Testpersonen. Das Durchführen vieler einzelner Tests für ein und dieselbe Studie, bedeutet einen enormen Zusatzaufwand und erschwert die Aus-wertung im Anschluss unnötig. Laut einer Studie von Jakob Nielsen reichen bereits 5 Testpersonen, um die wichtigsten Schwachstellen zu identifizieren. Wer hin-gegen Wert auf eine statistische Relevanz legt, muss etwas mehr Zeit investieren.

ZeitplanEs empfiehlt sich den Zeitplan für die einzelnen Benut-zertests nicht zu eng aufeinander zu planen. Eine kurze Pause von ca. 30 Minuten nach jedem Durchgang lässt etwas Raum für Unvorhergesehenes und ermöglicht einen kurzen Austausch unter den Teilnehmern, um die Befunde zu besprechen.

TerminierungUm einen reibungslosen Ablauf zu ermöglichen und zu vermeiden, dass Testpersonen auf Grund von fehlen-den Informationen zu spät, am falschen Ort, oder gar nicht erscheinen, teilen Sie allen Teilnehmer frühzeitig die Adresse, einen Kontaktnamen und eine Telefon-nummer für Notfälle mit. Eine kurze Erinnerung am Morgen vor dem Test verhindert, dass die Probanden ihren Termin vergessen.

TeilnahmeprämieWerden Testpersonen eigenständig rekrutiert, emp-fiehlt es sich eine angemessene Entschädigung in Form von Geld (oder einem Geschenk) für die Teilnahme zu offerieren. Diese Teilnahmeprämie sollte im Anschluss an den Benutzertest übergeben werden.

Page 9: Leitfaden für moderierte Benutzertests€¦ · Whitepaper Leitfaden für moderierte Benutzertests - 1 Vorwort Erfolgreiche Produkte und Services sind selten ein Zu-fall. Design Teams

Whitepaper – Leitfaden für moderierte Benutzertests - www.testingtime.com 8

1.6 Durchführungsort und Infrastruktur vorbereiten

Der Raum, den man für den Test wählt, sollte ruhig sein und eine angenehme Atmosphäre verbreiten. Die Test-person soll sich so wohl wie möglich fühlen. Falls meh-rere Personen den Test verfolgen möchten, macht es Sinn, einen zweiten Raum, möglichst nicht in Hörweite, dazu zu nehmen. Das Publikum kann dann über einen Bildschirm den Verlauf des Tests mitverfolgen, ohne dass sich die Testperson gestört fühlt.

ToolsFür einen In-House Benutzertest sind grundsätzlich kei-ne Tools notwendig. Falls jedoch externe Beobachter den Test mitverfolgen möchten, kann der Bildschirm via Skype oder www.join.me übertragen werden.

Soll der Test oder einzelne Sequenzen im Nachhinein nochmals im Detail ausgewertet werden, kann der Test mit Hilfe folgender Tools aufgezeichnet werden:• http://screencast-o-matic.com/ (Plattform unabhängig)• http://silverbackapp.com/ (nur verfügbar für MAC OSX)

Bei einem mobilen Prototypen, welcher zum Beispiel auf einem Smartphone getestet wird, kann mittels ei-ner externen Kamera der Screen aufgezeichnet und auf einen separaten Computer übertragen werden.

1.7 Involvierte Personen und Rollenverteilung festlegen

ModeratorEs empfiehlt sich, für diese Rolle eine unabhängi-ge Person zu wählen. Zu stark involvierte Personen neigen dazu, aufgedeckte Schwachstellen im Produkt zu verteidigen. Der Moderator sitzt neben der Testper-son und begleitet diese durch den Test. Bei der Einfüh-rung und während des Hauptteils ist ausschliesslich er für die Kommunikation mit der Testperson zuständig, danach können sich die Beobachter ebenfalls in den Dialog miteinbringen.

Beobachter / ProtokollführerDamit möglichst viele Erkenntnisse aus einem Test ge-wonnen werden, erstellen ein bis zwei Leute während des Tests im Hintergrund ein Beobachtungsprotokoll. Darin halten sie die Aussagen und Beobachtungen von Metadaten wie Gestik, Mimik, Körperhaltung etc. der Testpersonen fest. So kann sich der Moderator voll und ganz auf die Moderation des Tests fokussieren, ohne selber zusätzlich Notizen machen zu müssen.

ZuschauerEs ist hin und wieder sinnvoll, Mitglieder des invol-vierten Projektteams bei einem Test hinzu zu ziehen. Das können Auftraggeber, Designer, Projektleiter oder Entwickler sein, welche die Gelegenheit erhalten, den Test live mitzuverfolgen und somit auch die Probleme selber miterleben. Dies kann dazu führen, dass bei ei-ner späteren Umsetzung weniger Überzeugungsarbeit geleistet werden muss. Diese Gruppe sollte sich, wenn möglich, nicht im selben Raum aufhalten, damit sie möglichst nicht auf das Geschehen einwirken und die Testperson beeinflussen. Emotionale Reaktionen, und sei es nur ein Seufzer, setzen die Testperson unnötig unter Druck und erhöhen den Stress.

Es ist zudem erwiesen, dass Testpersonen unter grös-serem Stress leiden, wenn sie von mehreren Leuten beobachtet werden. Die Aufzeichnung auf Video wird hingegen als weniger störend empfunden.

1.8 Testlauf durchführen

Um sicherzustellen, dass während des eigentlichen Tests nichts schief läuft, sollte davor ein Testlauf mit einer unbeteiligten Person durchgeführt werden. So kann festgestellt werden, ob der geplante zeitliche Rah-men eingehalten werden kann, das technische Setup funktioniert und die Instruktionen an die Testpersonen verständlich und widerspruchsfrei sind.

Page 10: Leitfaden für moderierte Benutzertests€¦ · Whitepaper Leitfaden für moderierte Benutzertests - 1 Vorwort Erfolgreiche Produkte und Services sind selten ein Zu-fall. Design Teams

Whitepaper – Leitfaden für moderierte Benutzertests - www.testingtime.com 9

2. Durchführung

Das Ausführen einer Aufgabe unter Beobachtung kann zu Stress bei der Testperson führen. Um diesen Effekt zu entschärfen, empfiehlt es sich, eine geeignete Test-atmosphäre zu schaffen. Es hilft, die Testperson genau darüber zu instruieren, was in den darauffolgenden 30-60 Minuten zu erwarten ist. So können mögliche Ängste abgebaut werden.

Um Wertschätzung zum Ausdruck zu bringen und um zu verhindern, dass ein allzu steifes Testklima ent-steht, wird empfohlen, den Testpersonen Getränke und Snacks anzubieten.

2.1 Einführung (WarmUp)

Zu Beginn des Tests sollte der Testperson eine kurze Einführung gegeben werden. Besonders wichtig dabei ist die Information, dass nicht die Testperson getes-tet wird, sondern die Webseite / App. Aber auch der Hinweis, dass ihr Feedback unmittelbar dem Projekt- team hilft, das Produkt zu verbessern und sie damit einen wichtigen Beitrag bei der Optimierung des Pro-duktes leistet.

Der Testperson sollte zugesichert werden, dass die Ergebnisse anonymisiert weiterverwendet werden. Wenn der Test in Form von Audio und Video aufge-zeichnet werden soll, muss zuvor das Einverständnis der Testperson eingeholt werden. Falls notwendig, kann an dieser Stelle eine Geheimhaltungserklärung von der Testperson unterzeichnet werden, um die Wei-tergabe von heiklen Informationen zu verhindern.

Wichtig: Die Testperson muss gebeten werden, wäh-rend des Tests laut zu denken. Dies hilft den Beteiligten nachzuvollziehen, was im Kopf (Mentales Modell) der Testperson vorgeht. Falls eine Testperson wieder ver-stummt, muss die Person erneut darauf hingewiesen werden, indem man sie fragt, was sie gerade denkt.

2.2 Während des Tests (Main)

Der Testleiter sollte möglichst zurückhaltend mit An-merkungen oder Hilfestellungen sein. Die Testperson soll Schwierigkeiten möglichst selbständig überwinden. Es sollte nur eingegriffen werden, wenn die Testaufga-be sonst nicht weiter ausgeführt werden kann.

Falls der Test aufgezeichnet wird, ist es hilfreich, wenn die Beobachter sich die Zeitangabe für besonders inte-ressante Stellen vermerken. Dies ermöglicht ein schnel-leres Vorankommen bei der späteren Analyse der Tests. Es ist davon abzuraten, die Testperson nach möglichen Lösungsansätzen oder Präferenzen zu fragen. Auch sollte während des Tests niemand, abgesehen von dem Moderator, Fragen an die Testperson stellen. Beobach-ter werden gebeten, bis zum Abschluss zu warten. Die vereinbarte Zeit sollte eingehalten werden.

Für den seltenen Fall, dass eine Testperson komische Bemerkungen, schräge Ansichten oder irritierendes Verhalten aufweist, sollte das Lachen aus Respekt auf jeden Fall unterlassen werden.

2.3 Abschluss (CoolDown)

Der Abschluss ist besonders wertvoll, denn sobald der Druck des formellen Benutzertests weg ist und sich die Testperson entspannt, erhält man oft sehr gutes Feed-back zum getesteten Produkt oder der Dienstleistung. Es ist daher ratsam, die letzten 20% eines Benutzertest für diesen Teil freizuhalten. So erhält neben dem Beo-bachter auch die Testperson genug Zeit um Fragen zu stellen. Eine Liste von möglichen Fragen ist im Ab-schnitt 1.4. aufgelistet.Sobald keine weiteren Fragen mehr im Raum stehen, kann der Test mit einem Dankeschön an die Testper-son für die Zeit und die gewonnenen Erkenntnisse be-endet werden.

Page 11: Leitfaden für moderierte Benutzertests€¦ · Whitepaper Leitfaden für moderierte Benutzertests - 1 Vorwort Erfolgreiche Produkte und Services sind selten ein Zu-fall. Design Teams

Whitepaper – Leitfaden für moderierte Benutzertests - www.testingtime.com 10

3. Auswertung und Analyse

Die Auswertung der Daten sollte möglichst zeitnah nach der Durchführung stattfinden, ansonsten läuft man Gefahr, dass wichtige Details vergessen werden. Wenn möglich, sollten alle involvierten Experten (Mo-derator und Beobachter) ihre erste persönliche Ein-schätzung individuell und unabhängig voneinander schriftlich festhalten. Werden die Einschätzungen im Anschluss verglichen, entsteht über das Ganze eine neutralere Wertung. Auch ist die Wahrscheinlichkeit so geringer, dass ein Problem übersehen wird.

Unvollständigkeiten im Prototypen oder wenig reali-tätsgerechte Bedingungen können Usability Probleme verursachen, die unter realen Bedingungen und mit voller Funktionalität nicht auftreten würden. Sind die Bedingungen nicht realitätsnah, muss dies in der Aus-wertung berücksichtigt werden. Was diese zusätzlich erschwert, da wirkliche Benutzerprobleme von Proble-men auf Grund der Bedingungen unterschieden wer-den müssen.

Grundsätzlich gilt: Wird das zu Beginn festgelegte Ziel des Tests von der Mehrheit der getesteten Personen nicht erreicht, ist ein eindeutiges Usability Problem vorhanden. Wenn das Problem jedoch nur bei einer einzelnen Person aufge-treten ist, sollten keine voreiligen Schlüsse bezüglich ei-nes vorhandenen Usability Problems gezogen werden.

3.1 Aufbereitung der Daten

Aufgrund der Videos, der Beobachtung und der Noti-zen, die während der Tests entstanden sind, können mögliche Usability Probleme aufgedeckt werden. Da-mit die gesammelten Daten besser ausgewertet wer-den können, hilft es, wenn man bei der Analyse so strukturiert wie möglich vorgeht.

Karin Christen - required gmbhWährend eines Remote Benutzertests

Page 12: Leitfaden für moderierte Benutzertests€¦ · Whitepaper Leitfaden für moderierte Benutzertests - 1 Vorwort Erfolgreiche Produkte und Services sind selten ein Zu-fall. Design Teams

Whitepaper – Leitfaden für moderierte Benutzertests - www.testingtime.com 11

Zum Beispiel in Form einer Tabelle, in welcher pro gefundenem Problem, folgende Punkte festgehalt- en werden:

1. Betroffene Stelle Hier sollte die Aufgabe und die genaue Stelle an der das Problem aufgetreten ist, kurz beschrieben werden. Ein Screenshot mit der Situation verdeutlicht das Prob-lem und liefert den Kontext für spätere Diskussionen. Aufgabe 3, Shop Detailseite, Box: Ähnliche Artikel

2. Problem Das Problem soll möglichst nachvollziehbar beschrie-ben werden:War verwirrt, wusste nicht, ob die Artikel zum gleichen

Angebot gehören.

3. Ursache Eine erste persönliche Einschätzung der Ursache:Box scheint sich zu wenig vom eigentlichen Artikel abzu-

grenzen.

4. Anzahl betroffener Testpersonen Für die Auswertung ist es hilfreich zu sehen, wer ge-nau und wieviele der Testpersonen insgesamt, von dem Problem betroffen waren. Es ist ein beachtlicher Unterschied, ob nur eine Person oder alle Teilnehmer das Problem hatten. Entscheidend bei der Gewichtung des gefundenen Problems ist auch, ob die Person der Zielgruppe entspricht oder ein Teil der Kriterien nicht vollständig von dieser abgedeckt werden.Betroffene: 4 von 7, Testpersonen: 1,3,4 und 7

5. Schweregrad Mit Hilfe dieser Fünferskala kann festgelegt werden, wie schwerwiegend ein Problem ist. Dies sollte auf jeden Fall unabhängig von dem eingeschätzten Ände-rungsaufwand geschehen.0 = Ist kein Usability Problem

1 = Kosmetisches Problem

2 = Geringfügiges Usability Problem

3 = Bedeutendes Usability Problem

4 = Usability Desaster.

3.2 Priorisierung

Im Anschluss werden die Beurteilungen der einzelnen Experten miteinander verglichen und diskutiert. Die Daten werden konsolidiert, um daraus eine finale Prio-risierung ableiten zu können.

Die Strukturierung und Priorisierung kann mit Hilfe der folgenden Faktoren erstellt werden:

a) Kosten und Aufwand: wie aufwendig ist es, das Usability Problem zu beheben?

b) Verbesserungsgrad: wie stark kann damit die Usability verbessert werden?

Kombiniert man Aufwand und Verbesserungsgrad, kann die Priorisierung vorgenommen werden.

Alles das, was zu einer grösseren Verbesserung von dem Produkt beitragen kann, hat grundsätzlich Priori-tät. Jedoch kann im Rahmen eines Projektbudgets nicht jedes einzelne Problem umgehend angegangen wer-den. Zusammen mit den Stakeholdern muss nun ent-scheiden werden, welche Verbesserungen mit welcher Priorität wahrgenommen werden.

Page 13: Leitfaden für moderierte Benutzertests€¦ · Whitepaper Leitfaden für moderierte Benutzertests - 1 Vorwort Erfolgreiche Produkte und Services sind selten ein Zu-fall. Design Teams

Whitepaper – Leitfaden für moderierte Benutzertests - www.testingtime.com 12

4. Nächste Schritte

Damit sich der Aufwand solcher Benutzertests lohnt, müssen die gewonnen Erkenntnisse zwingend in die Weiterentwicklung einfliessen. Basierend auf den ge-fundenen Usability Problemen und deren Prioritäten, wird somit die nächste Iteration geplant.

Um zu verhindern, dass wertvolle Design- und Entwick-lungszeit auf Grund von falschen Annahmen verloren geht, machen Design Iterationen im Rahmen von 2 bis 4 Wochen Sinn. Im Allgemeinen gilt, je früher Proble-me aufgedeckt und behoben werden können, desto weniger unschöne Kompromisse müssen am Ende ei-nes Projektes eingegangen werden. Dies ist nicht nur kosteneffizient, sondern führt letztlich zu einer grösse-ren Kundenzufriedenheit.

Page 14: Leitfaden für moderierte Benutzertests€¦ · Whitepaper Leitfaden für moderierte Benutzertests - 1 Vorwort Erfolgreiche Produkte und Services sind selten ein Zu-fall. Design Teams

Whitepaper – Leitfaden für moderierte Benutzertests - www.testingtime.com 13

5. Zusammenfassung

Kontakt

TestingTime AG

Bahnhofstrasse 3

8001 Zürich

E-Mail: [email protected]

Vorbereitung• Testaufgaben im Testskript mit einer Hypothese und einem Ziel ergänzen.• Mit Hilfe eines Szenarios den Kontext des Tests für die Testperson erläutern.• Nur Personen rekrutieren, die zum Zielpublikum des Produktes oder der Dienstleistung gehören.• Gesunder Mix aus Alter und Geschlecht.• 5-7 Testpersonen pro Test sind ausreichend.• Genügend Pause zwischen den einzelnen Tests einplanen.• Zeit, Ort und Kontaktinformationen sind den Testpersonen verständlich zu kommunizieren.• Angenehme Testatmosphäre schaffen• Unvoreingenommenen Moderator wählen.• Mindestens einen Beobachter hinzuziehen.• Zuschauer sollten sich nicht im selben Raum befinden.• Testlauf durchführen.

Durchführung• Kurze Einführung zum Test geben.• Hinweis: Der Prototyp und nicht die Testperson wird getestet.• Einverständnis einholen und wenn nötig Geheimhaltungserklärung unterzeichnen.• Zum lauten Denken auffordern.• Nur eingreifen, wenn die Testaufgabe sonst nicht weiter ausgeführt werden kann.• Keine suggestiven Fragen stellen.• Niemals die Testperson nach Lösungen oder Präferenzen fragen.• Die vereinbarte Zeit einhalten.• Nicht über die Testperson lachen.• Nur der Moderator und die Testperson sprechen während des Tests. Beobachter müssen mit Fragen bis zum Ende warten.• Genügend Zeit für den Abschluss einplanen.• Der Testperson und dem Beobachter genügend Zeit für Fragen geben.• Sich bei der Testperson bedanken und gegebenen- falls die Teilnahmeprämie übergeben.

Analyse und weitere Schritte• Nicht zu lange mit der Auswertung warten.• Keine voreiligen Schlüsse auf Grund einer einzelnen Aussage ziehen.• Die neu gewonnen Erkenntnisse in die Weiterentwicklung einfliessen lassen.• Regelmässig Testen.