Quiz: Welche Variante des Usability-Tests gewinnt?

Welche Variante gewinnt?

Wie gut kannst du einschätzen, welche Variante im Usability-Test oder A/B Test

gewinnt?

Ein kleines Quiz fürs Barcamp Karlsruhe, Juli 2012

Silke Berz, http://blog.paulinepauline.de/, @paulinepaulineCreative Director bei http://triplesense.de/

Usabilitytests

http://www.carlynporter.com/

A/B Split Testing

http://www.smashingmagazine.com/2010/06/24/the-ultimate-guide-to-a-b-testing/

Los geht‘s!

Anleitung:Das Quiz enthält 18 Testergebnisse aus Usability- und A/B-Tests.Zuerst werden jeweils die beiden getesteten Varianten gezeigt.Merke dir die Variante, die deiner Meinung nach gewonnen hat.

Dann wird das Ergebnis gezeigt.Hast du richtig getippt, notiere dir einen Punkt.

Am Ende der 18 Testergebnisse erhältst du eine Auswertung deines Ergebnisses.

Call-to-action links oder rechts?

Eyetracking Test:

Wird ein Call-to-Action auf der rechten oder auf der linken Seite stärker wahrgenommen?

Der Versuchsaufbau

Für den Test wurde das Panel von 20 Personen im Alter von 20 – 43 Jahren und rund 50% Frauen bzw. Männer in zwei gleiche Gruppen aufgeteilt. Jede Gruppe bekam nur einen der Screens im 5-Sekunden-Test zu sehen.

Quelle: http://www.konversionskraft.de/landing-page-optimierung/landingpage-optimierung-tipp-5-call-to-action-links-oder-rechts.html

Call-to-action links oder rechts?

Eyetracking Test:

Wird ein Call-to-Action auf der rechten oder auf der linken Seite stärker wahrgenommen?

Der Versuchsaufbau

Für den Test wurde das Panel von 20 Personen im Alter von 20 – 43 Jahren und rund 50% Frauen bzw. Männer in zwei gleiche Gruppen aufgeteilt. Jede Gruppe bekam nur einen der Screens im 5-Sekunden-Test zu sehen.

Quelle: http://www.konversionskraft.de/landing-page-optimierung/landingpage-optimierung-tipp-5-call-to-action-links-oder-rechts.html

Bildkompisition mit Call-to-action

Eyetracking Test

Welchen Einfluss hat die Blickrichtung der abgebildeten Person auf das Blickverhalten der Nutzer? Welche Anordnung der Call to Actions funktioniert besser?

Der Versuchsaufbau:A/B-Test mit zehn Probanden. Jeder Proband hat nur eine Version der Landing-Page gesehen um ein klares Ergebnis zu erhalten. Es wurden jeweils zwei Messungen mit 5 Sekunden Blickzeit aufgenommen. Die Altersstruktur von 20 bis über 60 Jahre und genau 50% Männer / Frauen.

http://www.konversionskraft.de/landing-page-optimierung/landing-page-optimierung-tipp-3.html

Bildkompisition mit Call-to-action

Eyetracking Test

Welchen Einfluss hat die Blickrichtung der abgebildeten Person auf das Blickverhalten der Nutzer? Welche Anordnung der Call to Actions funktioniert besser?

Der Versuchsaufbau:A/B-Test mit zehn Probanden. Jeder Proband hat nur eine Version der Landing-Page gesehen um ein klares Ergebnis zu erhalten. Es wurden jeweils zwei Messungen mit 5 Sekunden Blickzeit aufgenommen. Die Altersstruktur von 20 bis über 60 Jahre und genau 50% Männer / Frauen.

http://www.konversionskraft.de/landing-page-optimierung/landing-page-optimierung-tipp-3.html

Textgestaltung als Konversionsverstärker

A/B-Test:

Welche Kombination von Headline, Anlauf und Zusatztext funktioniert besser?

Der Versuchsaufbau

Umgestaltung des Textaufbaus in Version B: Kürzere Headline, zusätzliche Headline + Hervorhebung von Begriffen.

Lenkung der Blickrichtung zum CtA.

Ergebnis

91% höhere Registrierung für Testversion

Variante A Variante B

http://visualwebsiteoptimizer.com/split-testing-blog/split-testing-increases-signups/

Textgestaltung als Konversionsverstärker

A/B-Test:

Welche Kombination von Headline, Anlauf und Zusatztext funktioniert besser?

Der Versuchsaufbau

Umgestaltung des Textaufbaus in Version B: Kürzere Headline, zusätzliche Headline + Hervorhebung von Begriffen.

Lenkung der Blickrichtung zum CtA.

Ergebnis

91% höhere Registrierung für Testversion

Variante A Variante B

+91%

http://visualwebsiteoptimizer.com/split-testing-blog/split-testing-increases-signups/

Eye-Tracking-Test:

Konvertieren konträre Elemente besser?

Getestet wurden zwei Varianten des Call-to-Actions-Buttons „Jetzt abschließen“. (Im linken Screenshot grüner)

Versuchsaufbau• A/B-Test mit jeweils zehn

Probanden. • Jeder Proband hat nur eine

Version der Landingpage gesehen um ein klares Ergebnis zu erhalten.

• Jeweils drei Messungen mit jeweils 4 Sekunden Blickzeit.

• Altersstruktur von 20 bis über 60 Jahre.

• Genau 50% Männer / Frauen.

Farben für Call to Action-Buttons

Quelle: 11 Konversionskiller und wie sie vermieden werden, Thorsten Hubert, 2011

Farben für Call to Action-Buttons

Zwei Varianten im Test:

Original mit Buttons in der CI-Farbe.

Modifizierte Version mit Call-to-Action-Button in einer konträren Farbe, die auf der gesamten Website bisher nicht vorkommt.

Quelle: 11 Konversionskiller und wie sie vermieden werden, Thorsten Hubert, 2011

Farben für Call to Action-Buttons

Variante mit grünem Button: Variante mit rotem Button:

Quelle: 11 Konversionskiller und wie sie vermieden werden, Thorsten Hubert, 2011

Die optimale Länge einer Landingpage

A/B-Test mit 4 Version einer Landingpage

Version 1:Langversion mit FAQ + Screenshots Der Versuchsaufbau

A/B-Test mit 4 Versionen einer Landingpage. Auslieferung aller Versionen und Messung der Veränderung im Abverkauf des Test-Software-Services.

Die optimale Länge einer Landingpage

Die optimale Länge einer Landingpage

Die optimale Länge einer Landingpage

Die optimale Länge einer Landingpage

A/B-Test mit 4 Version einer Landingpage

Version 3:nur Screenshots der Anwendung

Version 2:nur FAQs zur Anwendung

Version 1:Langversion mit FAQ + Screenshots

Version 4:Seite ohne Screenshots + FAQ

Der Versuchsaufbau

A/B-Test mit 4 Versionen einer Landingpage. Auslieferung aller Versionen und Messung der Veränderung im Abverkauf des Test-Software-Services.

Die optimale Länge einer Landingpage

A/B-Test mit 4 Version einer Landingpage

Version 3:nur Screenshots der Anwendung

Version 2:nur FAQs zur Anwendung

Version 1:Langversion mit FAQ + Screenshots

Version 4:Seite ohne Screenshots + FAQ

Der Versuchsaufbau

A/B-Test mit 4 Versionen einer Landingpage. Auslieferung aller Versionen und Messung der Veränderung im Abverkauf des Test-Software-Services.

+62%

+56% -3%

Produktdetailseiten im E-Commerce

Quelle: https://whichtestwon.com

Welche Produktseite convertiert besser?

Welche Produktseite convertiert besser?

Produktdetailseiten im E-Commerce

Quelle: https://whichtestwon.com

substantial increase in purchases

removing extraneous navigation, increasing image size, and clarifying the order process are best practices that generally win

Angebot von Free Trial

Quelle: https://whichtestwon.com

Angebot von Free Trial

Quelle: https://whichtestwon.com

+ 158%

We expected that by adding a free trial button on the homepage the number of paid accounts would decrease. We were positively surprised by the results. Not only did we manage to keep the sale at the same level, but we also noticed a huge increase in the number of free trial accounts, which will also result in a bigger number of upgrades in the future.

Themenbühnen 1/2

Quelle: http://www.usability.de/publikationen/studien/themenbuehnen.html

Welches Element zieht wahrscheinlich die meiste Aufmerksamkeit auf sich?

Themenbühnen 1/2

B

CD

E

Quelle: http://www.usability.de/publikationen/studien/themenbuehnen.html

A

Welches Element zieht wahrscheinlich die meiste Aufmerksamkeit auf sich?

Themenbühnen 1/2

A

BC

D

E

Quelle: http://www.usability.de/publikationen/studien/themenbuehnen.html

Welches Element zieht wahrscheinlich die meiste Aufmerksamkeit auf sich?

Themenbühnen 2/2

Quelle: http://www.usability.de/publikationen/studien/themenbuehnen.html

Welches Element zieht wahrscheinlich die meiste Aufmerksamkeit auf sich?

Themenbühnen 2/2

A

B

C D

EF

G

Quelle: http://www.usability.de/publikationen/studien/themenbuehnen.html

Welches Element zieht wahrscheinlich die meiste Aufmerksamkeit auf sich?

Themenbühnen 2/2

Quelle: http://www.usability.de/publikationen/studien/themenbuehnen.html

Welches Element zieht wahrscheinlich die meiste Aufmerksamkeit auf sich?

Themenbühnen 2/2

A

B

C D

EF

G

Quelle: http://www.usability.de/publikationen/studien/themenbuehnen.html

Welches Element zieht wahrscheinlich die meiste Aufmerksamkeit auf sich?

Videos zum Abschlussunterstützung

Quelle: http://whichtestwon.com/google-website-optimizer-test-results

Welche Version steigerte die Registrierungen?

Welche Version steigerte die Registrierungen?

Videos zum Abschlussunterstützung

Quelle: http://whichtestwon.com/google-website-optimizer-test-results

- 30%

This test pitted bullet points against two different style videos, a 3 minute tour & a 6 minute A/B test demo.

Both video versions hurt conversion rates, the former dropped rates by roughly 20% and the latter dropped rates by about 30%.

Formulare

Quelle: http://www.lukew.com/ff/entry.asp?1007

Ron and his team ran some A/B testing online that compared a traditional Web form layout with a narrative "Mad Libs" format.

Welche Version steigerte die Conversion?

Welche Version steigerte die Conversion?

Formulare

Quelle: http://www.lukew.com/ff/entry.asp?1007

+ 25 - 40%

Ron and his team ran some A/B testing online that compared a traditional Web form layout with a narrative "Mad Libs" format.

In Vast.com's testing, Mad Libs style forms increased conversion across the board by 25-40%.

Multi-Step vs. Single Page Checkout

Quelle: http://www.getelastic.com/single-vs-two-page-checkout/ A/B Test

Multi-Step vs. Single Page Checkout

Quelle: http://www.getelastic.com/single-vs-two-page-checkout/ A/B Test

+ 21%

„After only 300 transactions, the winner was clear and we stopped the experiment after 606 transactions.

Google Website Optimizer concluded that the single-page checkout outperformed the out-of-the-box checkout by a whopping 21.8%.“

Newsletter Anmeldungen

Quelle: http://whichtestwon.com/archives/16975

Welche Version führte zu mehr Newsletter-Anmeldungen?

Welche Version führte zu mehr Newsletter-Anmeldungen?

Newsletter Anmeldungen

Quelle: http://whichtestwon.com/archives/16975

Newsletter Magazin

Quelle: http://whichtestwon.com/archives/17017

Welche Newsletter-Variante steigerte die Klickrate?

Newsletter Magazin

Quelle: http://whichtestwon.com/archives/17017

+ 36%

Welche Newsletter-Variante steigerte die Klickrate?

The winning version decluttered the left hand margin and used text links in the body to share other stories. The major differences between the two versions were the placement of the publication’s advertisement, the number of featured stories, and the layout of the ‘non-featured’ articles below the fold.

This test received a gold award because it did a phenomenal job decluttering the newsletter while providing the same number of stories via text links.

Newsletter Gestaltung

Quelle: http://whichtestwon.com/archives/16905

Welche Newsletter-Variante steigerte die Klickrate?

Welche Newsletter-Variante steigerte die Klickrate?

Newsletter Gestaltung

Quelle: http://whichtestwon.com/archives/16905

Both versions had the same headline and subhead copy. However, Version A had a lot more white space and Apple-style design, whereas Version B used a fairly traditional email blast template.

The judges liked this test because, well, the winning template was just so pretty. It’s a nice reminder that creativity can increase response rates. So, dust off your old tired templates and test something different!

+ 6%

Produkt Detailseiten - Shop

Quelle: http://whichtestwon.com/archives/16905

Klassische Produktseite

Aufgeräumt und clean

Wirkt elitär durch Hintergrund und Ausleuchtung

Emotionen: Rebellion, Individualismus

Welche Detailseiten-Variante steigerte die Conversion?

Welche Detailseiten-Variante steigerte die Conversion?

Produkt Detailseiten - Shop

Quelle: http://whichtestwon.com/archives/16905

Klassische Produktseite

Aufgeräumt und clean

Wirkt elitär durch Hintergrund und Ausleuchtung

Emotionen: Rebellion, Individualismus

45.9% 59.1% 82.1% 63.2%

Landingpage mit Registrierungsformular

Quelle: http://www.abtests.com/test/258001/landing-for-vendio

Welches Formular führte zu mehr Registrierungen?

Welches Formular führte zu mehr Registrierungen?

Landingpage mit Registrierungsformular

Quelle: http://www.abtests.com/test/258001/landing-for-vendio

+ 60%

Big Takeaway

In this case an easier sign-up didn't necessarily lead to MORE sign-ups.

Other Test Highlights

Another lesson here is that it is it is worth testing radically different ideas – which, on the first glance, may appear not-so-smart (like removing signup form from the landing page!).

Produktlisten im E-Commerce

Quelle: https://whichtestwon.com

Welches Variante der Liste führte zu mehr Verkäufen?

Welches Variante der Liste führte zu mehr Verkäufen?

Produktlisten im E-Commerce

Quelle: https://whichtestwon.com

+ 35%

Einsatz von Störern

http://www.abtests.com/test/263001/product-for-the-corkscrew-wine-merchants

Welches Variante der Produktdetailseite führte zu mehr Verkäufen?

Welches Variante der Produktdetailseite führte zu mehr Verkäufen?

Einsatz von Störern

http://www.abtests.com/test/263001/product-for-the-corkscrew-wine-merchants

31% CR

12% CR

Und jetzt:

Wie viele Punkte habt ihr erreicht?

? ? ?

Ergebnis

18 – 12 Punkte 11 – 6 Punkte 5 – 0 Punkte

Ergebnis

Du bist der Typ Konzepter / Designer

Aus dir könnte ein hervorragender Konzepter oder Designer werden, wenn du es nicht schon bist. Du bist ein Mensch gewordenes Testlabor – irgend eine höhere Macht lässt deine Entwürfe in jedem Test gewinnen.

? ?18 – 12 Punkte 11 – 6 Punkte 5 – 0 Punkte

Ergebnis

Du bist der TypKonzepter / Designer

Aus dir könnte ein hervorragender Konzepter oder Designer werden, wenn du es nicht schon bist. Du bist ein Mensch gewordenes Testlabor – irgend eine höhere Macht lässt deine Entwürfe in jedem Test gewinnen.

Du bist der TypProjektmanager

Du hast manchmal merkwürdige Vorstellungen, wie die Nutzer im Web sich verhalten, und lässt dich nur ungern eines besseren belehren. Aber hin und wieder liegst du auch mal richtig, mit deinen Vermutungen.

;-)

?18 – 12 Punkte 11 – 6 Punkte 5 – 0 Punkte

Ergebnis

Du bist der TypKonzepter / Designer

Aus dir könnte ein hervorragender Konzepter oder Designer werden, wenn du es nicht schon bist. Du bist ein Mensch gewordenes Testlabor – irgend eine höhere Macht lässt deine Entwürfe in jedem Test gewinnen.

Du bist der TypProjektmanager

Du hast manchmal merkwürdige Vorstellungen, wie die Nutzer im Web sich verhalten, und lässt dich nur ungern eines besseren belehren. Aber hin und wieder liegst du auch mal richtig, mit deinen Vermutungen.

;-)

Du bist der TypProgrammierer

Du hast nur ein paar Zufallstreffer gelandet, was dir aber nix ausmacht, denn die eigentliche Musik spielt hinter dem ganzen überbewerteten Schischi.

;-)

18 – 12 Punkte 11 – 6 Punkte 5 – 0 Punkte

Quellen

http://whichtestwon.com/

http://www.konversionskraft.de/

Google Suche nach „heatmap“ oder „A/B test“

http://visualwebsiteoptimizer.com/

Vielen Dank

Silke Berz @paulinepauline