Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
Usabilitybewertung von Telematiksystemen Testmethoden und Ergebnisse zum Deutschen Telematik Preis 2016
Maximilian Köppel (M.Sc.)
Prof. Dr.-Ing. Heinz-Leo Dudek
IWT Wirtschaft und Technik GmbH
Friedrichshafen, den 30. September 2015
Usabilitybewertung von Telematiksystemen Seite I Maximilian Köppel / Heinz-Leo Dudek
Übersicht Ein Forschungsschwerpunkt an der DHBW Ravensburg und ihrem zugehörigen Institut für
Weiterbildung, Wissens- und Technologietransfer (IWT) beschäftigt sich mit der „Validation
und Verifikation von bedienergeführten IT-Systemen“. Insbesondere die Usabilitybewertung
von Telematiksystemen für den Einsatz in Nutzfahrzeugen war bisher einer der
Schwerpunkte der Arbeiten.
Hierfür wurde im Jahr 2014 ein umfangreiches Verfahren erarbeitet, siehe [KOE1], und im
Jahr 2015 verifiziert, siehe [KOE2].
Im Auftrag des ETM-Verlags wurden im IWT dann im Zeitraum April bis Juli 2015 zwölf
verschiedene Telematiksysteme auf ihre Usability hin untersucht und bewertet.
Die vorliegende Dokumentation beschreibt den Hintergrund, die verwendeten Methoden und
die Ergebnisse der Usabilitybewertung dieser Telematiksysteme.
Usabilitybewertung von Telematiksystemen Seite II Maximilian Köppel / Heinz-Leo Dudek
Inhaltsverzeichnis
1. Hintergrund und Aufgabenstellung ............................................................................... 1
1.1. Der Deutsche Telematik Preis 2016 .......................................................................... 1
1.2. Preiskategorien und nominierte Systeme .................................................................. 1
2. Testmethoden zur Usabilitybewertung ....................................................................... 13
2.1. Testaufgabenkatalog ............................................................................................... 13
2.2. Laborsystem Dikablis der DHBW ............................................................................. 17
2.2.1. Systembeschreibung Dikablis Professional von Ergoneers ............................. 17
2.2.2. Kennzahlen in der Analysesoftware D-LAB ...................................................... 18
2.3. Testdurchführung mit Eyetracking ........................................................................... 23
2.3.1. Verwendete Kennzahlen ................................................................................... 23
2.3.2. Korrelationsanalyse der verwendeten Kennzahlen .......................................... 23
2.3.3. Extremwertbestimmung der Kennzahlen .......................................................... 30
2.4. Testdurchführung mit Fragen und Kriterienkatalog .................................................. 32
2.5. Testdurchführung mit Zeitmessung ......................................................................... 35
2.6. Methodenvalidation und Beschreibung der Tests .................................................... 36
2.6.1. Aspekte beim Test mit Eyetracking .................................................................. 36
2.6.2. Aspekte beim Test mit Userfragen ................................................................... 38
2.6.3. Aspekte beim Test mit Kriterienkatalog ............................................................ 39
2.6.4. Sonstige Hinweise ............................................................................................ 40
3. Testdurchführung und Ergebnisse ............................................................................. 42
3.1. Beschreibung der Testumgebung und -ablauf ......................................................... 42
3.1.1. Testaufgaben .................................................................................................... 42
3.1.2. Notenbildung ..................................................................................................... 44
3.1.3. Testablauf ......................................................................................................... 47
3.2. Ergebnisübersicht .................................................................................................... 50
3.3. Detailergebnisse je Kategorie .................................................................................. 55
3.3.1. Ergebnisse OEM-Telematik .............................................................................. 55
Usabilitybewertung von Telematiksystemen Seite III Maximilian Köppel / Heinz-Leo Dudek
3.3.2. Ergebnisse Nachrüst-Telematik für LKW .......................................................... 56
3.3.3. Ergebnisse Telematik für leichte Nutzfahrzeuge .............................................. 57
3.3.4. Ergebnisse Trailer-Telematik ............................................................................ 58
3.3.5. Ergebnisse Telematik für Sonderfahrzeuge ..................................................... 59
3.3.6. Ergebnisse Telematik für Container und Wechselbrücken ............................... 60
4. Zusammenfassung ....................................................................................................... 61
5. Abbildungsverzeichnis ................................................................................................. 62
6. Tabellenverzeichnis ...................................................................................................... 64
7. Literaturverzeichnis zu „Usability von Telematik“ .................................................... 66
8. Anhang ........................................................................................................................... 74
Usabilitybewertung von Telematiksystemen Seite 1 Maximilian Köppel / Heinz-Leo Dudek
1. Hintergrund und Aufgabenstellung
1.1. Der Deutsche Telematik Preis 2016 Der Deutsche Telematik Preis wurde vom EuroTransportMedia Verlag (ETM), Stuttgart,
erstmals im Jahr 2015 (für das Jahr 2016, nachfolgend mit „DTP16“ abgekürzt) in sechs
verschiedenen Kategorien ausgelobt. Die sich um den Preis bewerbenden
Telematikhersteller bzw. deren Telematiksysteme wurden einem zweistufigen
Bewertungsverfahren unterzogen. In einer ersten Runde wurden technische Details und
Funktionalitäten der Telematiksysteme in einem Fragebogen erfasst. Auf dieser Basis
wurden die Systeme nach einem von der Jury festgelegten Bewertungs- und
Gewichtungsverfahren in eine Rangfolge gebracht. Die „Top 3“ jeder Kategorie wurden mit
dem Prädikat „Nominiert für den Deutschen Telematikpreis 2016“ ausgezeichnet.
Die zweite Stufe auf dem Weg zur Preisverleihung war die Bewertung der
Gebrauchsfähigkeit („Usability“). Dabei stand im Fokus, wie bedienerfreundlich die Systeme
im Alltagsgebrauch sind. Es wurde dabei rein die Back-Office-Bedienung, also der Gebrauch
durch den Fuhrparkleiter, Disponenten, o.ä., betrachtet. Die Bedienungsfreundlichkeit im
Fahrzeug wurde nicht untersucht, da diese auch stark von der Einbausituation abhängt und
in einigen der Kategorien ohnehin keine Anzeige-/Bedieneinheit für den Fahrer vorhanden ist
(z.B. beim Trailer). Mit der Durchführung der Usabilitytests wurde das Institut für
Weiterbildung, Wissens- und Technologietransfer („IWT“) an der DHBW Ravensburg
Campus Friedrichshafen beauftragt.
1.2. Preiskategorien und nominierte Systeme Nachfolgend werden die sechs Preiskategorien beschrieben sowie exemplarische
Darstellungen der jeweiligen Einsatzgebiete gezeigt. Zusätzlich werden die jeweils
nominierten Systeme genannt und es sind beispielhafte Screenshots von eingesetzten
Telematik-Oberflächen abgebildet.
OEM Telematik „OEM-Telematik“ bezeichnet Telematiksysteme der Fahrzeughersteller, die beim
Fahrzeugkauf ab Werk serienmäßig oder als Zusatzausstattung angeboten werden. Mit
Übergabe eines neuen Fahrzeuges stehen dem Nutzer die Funktionen des
Telematiksystems sofort zur Verfügung. Bestandsflotten können in der Regel trotzdem
markenübergreifend nachgerüstet werden.
Usabilitybewertung von Telematiksystemen Seite 2 Maximilian Köppel / Heinz-Leo Dudek
Abbildung 1: Einsatzmöglichkeit für OEM-Telematik mit gleichen Zugfahrzeugen (Quelle: Spedition Oehrle)
Der Vorteil der OEM-Telematik liegt in der Regel beim flächendeckenden Support durch
speziell für die Telematikanwendungen zertifizierten Fahrzeugniederlassungen (vgl. [FB1]).
In dieser Kategorie wurden folgende Systeme für den DTP16 nominiert und damit auf
Usability getestet:
Daimler Fleetboard
Scania Fleet Management & Tachograph Services
Abbildung 2: Beispieldarstellung eines Portals für OEM-Telematik (Quelle: Daimler AG)
Usabilitybewertung von Telematiksystemen Seite 3 Maximilian Köppel / Heinz-Leo Dudek
Abbildung 3: Beispieldarstellung eines Portals mit Auswertungsmöglichkeiten für OEM-Telematik (Quelle: Daimler
AG)
Nachrüst-Telematik für LKW Neben der auch von den Fahrzeugherstellern angebotenen Nachrüstung gibt es
Telematikanbieter, die sich speziell auf dieses Geschäftsmodell spezialisiert haben und
markenübergreifend Telematiklösungen in vorhandene Flotten integrieren. Die Vorteile sind
dabei bspw. die völlige Unabhängigkeit von spezieller Hardware und die meist flexible
Integration von bereits vorhandenen und auch anderweitig genutzten Endgeräten oder
ähnlichen Einheiten (z.B. Android-Smartphone im LKW: Navigation und Flottentelematik).
Über standardisierte Schnittstellen sind auch hier Anbindungen an die technischen Systeme
des Zugfahrzeuges möglich – so können etwa CAN-Daten ausgewertet oder
Betriebskennlinien einzelner Fahrzeugkomponenten für die spätere Optimierung erfasst
werden (vgl. [CO1] und [ZF1]). Ein weiterer Ansatz dieser Nachrüster ist der Zuschnitt der
Funktionsumfänge auf Kundenspezifika – zum Teil orientiert man sich hier sogar an dem aus
der Consumer-Elektronik bekannten „App“-Konzept der Smartphones und bietet sogar
eigene Software-Developer-Kits an (siehe auch hierzu [ZF1]). Als Testsysteme in dieser
Kategorie waren nominiert:
couplinkyourfleet von der Couplink Group AG
GPS Auge und GPS Explorer der GPSoverIP GmbH
Openmatics vom gleichnamigen Tochterunternehmen der ZF Friedrichshafen AG
Nachfolgend dargestellte Abbildung zeigt ein denkbares Szenario für eine Telematiklösung
zum Nachrüsten – eine LKW-Flotte mit Fahrzeugen verschiedener Hersteller.
Usabilitybewertung von Telematiksystemen Seite 4 Maximilian Köppel / Heinz-Leo Dudek
Abbildung 4: Einsatzszenario für Nachrüst-Telematik bei inhomogenen Flotten (Quelle: Erdtrans GmbH)
Abbildung 5: Portalübersicht mit einem ausgewählten Fahrzeug im Bereich der Nachrüst-Telematik (Quelle:
GPSoverIP)
Telematik für leichte Nutzfahrzeuge Bei den Angeboten für leichte Nutzfahrzeuge steht die Steuerung von Flotten kleinerer
Fahrzeuge, wie etwa Lkw kleiner 7,5 to., Transporter und gewerblich genutzte Pkw, im
Vordergrund. Die Funktionalitäten sind vorrangig auf die Prozesse des Fahrzeugbetreibers
ausgerichtet, daneben werden Navigationsfunktionen geboten, ebenso wie die Optimierung
Usabilitybewertung von Telematiksystemen Seite 5 Maximilian Köppel / Heinz-Leo Dudek
von Routen (Verkehrsstörungen, etc.) oder Rückmeldungen über Fahrverhalten und
Kraftstoffverbräuche (vgl. hierzu [TO1]). In diese Kategorie fallen folgende Systeme:
couplinkyourfleet von der Couplink Group AG
GPS Auge und GPS Explorer der GPSoverIP GmbH
Webfleet von TomTom Telematics
Cargofleet VAN Cool von IDEM Telematics GmbH
(Hinweis: In dieser DTP16-Kategorie waren vier Systeme nominiert, da die aus Stufe 1 auf
Platz 3 und 4 platzierten Systeme nur unwesentlich unterschiedliche Bewertungen erhalten
hatten.)
Abbildung 6: Portaloberfläche eines Telematiksystems für leichte Nutzfahrzeuge (Quelle: IDEM)
Leichte Nutzfahrzeuge kommen beispielsweise im Lieferverkehr zum Einsatz. Kurierfahrten
auch von sensiblen Gütern mit erhöhten Anforderungen an die Nachweisbarkeit und
Transparenz der Auftragsbearbeitung gehören hier zum möglichen Einsatzspektrum. Der
Fokus kann aber auch auf der Ortung (für schnelle Disposition von z.B. Serviceaufträgen)
und Navigation liegen (Routenoptimierung).
Usabilitybewertung von Telematiksystemen Seite 6 Maximilian Köppel / Heinz-Leo Dudek
Abbildung 7: Kurierfahrt als Szenario für den Einsatz von Telematik für leichte Nutzfahrzeuge (Quelle: Hermes
Europe GmbH)
Telematik für Sonderfahrzeuge Diese Systeme bringen meist spezielle Funktionalitäten für besondere Einsätze im Fahrzeug
mit – so können etwa weitere Schnittstellen (Waagen für Container o.ä.) angebunden und
zugehörige Daten übermittelt werden. Weiterhin können Sonderanwendungen spezielle
Funktionen zur Routenplanung und –optimierung erfordern oder spezielle Anforderungen an
Nachweisbarkeit und Transparenz stellen. Etwa bei medizinischen Transporten oder
Schwerlastgütern mit Sondergenehmigungen und Einschränkungen bei den erlaubten
Fahrzeiten (siehe hierzu auch [CO2]). Zum Test in dieser Kategorie standen diese Systeme
bereit:
couplinkyourfleet von der Couplink Group AG
GPS Auge und GPS Explorer der GPSoverIP GmbH
ATP Telematik Plattform von der mm-lab GmbH
Usabilitybewertung von Telematiksystemen Seite 7 Maximilian Köppel / Heinz-Leo Dudek
Abbildung 8: Erstellen einer Tour für ein Sonderfahrzeug per Mausklick in eine hinterlegte Karte (Quelle:
GPSoverIP)
Bei Sonderfahrzeugen rücken beispielsweise kommunale Entsorgungsbetriebe als
Zielgruppe in den Fokus. Hier sollen Routen mit einer Vielzahl von Halte- und Ladepunkten
optimiert werden, um bspw. Leerfahrten oder Fahrten mit Teilbeladung zu reduzieren.
Abbildung 9: Fahrzeug der kommunalen Abfallentsorgung als Zielgruppe für den Einsatz von Telematiksystemen
für Sonderfahrzeuge (Quelle: MAN)
Usabilitybewertung von Telematiksystemen Seite 8 Maximilian Köppel / Heinz-Leo Dudek
Abbildung 10: Nachbearbeitung der ausgewählten Tour (vorangegangene Grafik) in einer tabellarischen
Übersicht (Quelle: GPSoverIP)
Usabilitybewertung von Telematiksystemen Seite 9 Maximilian Köppel / Heinz-Leo Dudek
Trailer-Telematik Da in heutigen Logistikprozessen vermehrt mit Auflieger und Zugfahrzeug gearbeitet wird,
besteht der Wunsch, die Auflieger („Trailer“) separat zu überwachen.
Gerade im Begegnungsverkehr sind die Kombinationen aus Zugfahrzeug und Trailer nicht
von Belade- bis Entladepunkt identisch. Ggf. kann auch unterwegs der Trailer auf anderen
Transportmitteln befördert werden (siehe nachfolgende Abbildung). Aus diesem Grund
verfügen die Einheiten oftmals über eigene Telematiksysteme.
Abbildung 11: Kühltrailer ohne Zugfahrzeug beim Transport über die Schiene (Quelle: Cargobeamer)
Die Funktionalitäten fokussieren dabei vor allem auf die Nachverfolgung von Standorten,
Kühltemperaturen oder unbefugten Zugriffen. Dies kann von der Kontrolle der Ladetüren bis
hin zu Gebietsüberwachungen für abgestellte Trailer reichen (vgl. hierzu [KR1]). Die Daten
müssen ggf. länger im mobilen Gerät selbst gespeichert werden, auch die Stromversorgung
unterliegt höheren Anforderungen hinsichtlich der Ausfallsicherheit, sodass oft auf interne
Batterien als Backup zurückgegriffen wird.
An Trailersystemen waren im Rahmen der Usabilitytests folgende Teststellungen verfügbar:
Cargofleet Trailer COOL Set + temprecorder Hub von der IDEM Telematics GmbH
Krone Telematics von der Fahrzeugwerk Bernard KRONE GmbH
Schmitz Cargobull Telematics der Schmitz Cargobull AG
Usabilitybewertung von Telematiksystemen Seite 10 Maximilian Köppel / Heinz-Leo Dudek
Abbildung 12: Portalübersicht Trailertelematik mit tabellarischer Darstellung des Positionsverlaufes einer Einheit
(Quelle: Krone)
Usabilitybewertung von Telematiksystemen Seite 11 Maximilian Köppel / Heinz-Leo Dudek
Telematik für Container und Wechselbrücken Ähnlich wie bei der Telematik für Trailer fokussieren die Lösungen für Container und
Wechselbrücken auf Ortungsfunktionen und artverwandte Funktionalitäten. Da
Standardcontainer ebenso wie Kühl- oder Tankcontainer mit verschiedenen Transportmitteln
befördert werden (bspw. Schiff, Güterzug, LKW) kommt es hier auf eine robuste und
unabhängige Lösung an. Die montierten Endgeräte sind daher solarbetrieben und fähig, bis
zu sieben Jahre wartungsfrei unterwegs zu sein (siehe hierzu [AG1]). Backendseitig wird wie
bei den vorangegangenen Systemen meist auf eine webbasierte Lösung zurückgegriffen, die
alle notwendigen Funktionalitäten beinhaltet. In diese Kategorie fallen folgende
Teststellungen:
GPS Solar und TRACK Agheera Telematics Platform von der Agheera GmbH
Krone Telematics von der Fahrzeugwerk Bernard KRONE GmbH
couplinkyourfleet von der Couplink Group AG
Die robusten und von externer Energieversorgung autarken On-Board-Units für die
Container-Telematik werden vorzugsweise auf der Oberseite eines Standardcontainers
befestigt. Auch bei Loslösung von Fahrgestellen oder ähnlichem besteht die Möglichkeit zur
Ortung und Routenverfolgung der Transporteinheiten.
Abbildung 13: Darstellung mit dem Modell einer Kombination aus Standardcontainer (auch für den Seeverkehr)
und Fahrgestell für den Straßentransport (Quelle: Tamiya)
Usabilitybewertung von Telematiksystemen Seite 12 Maximilian Köppel / Heinz-Leo Dudek
Abbildung 14: Auszug eines Telematiksystems für Container und Wechselbrücken, hier mit Anzeige der
Containertemperatur (Quelle: Krone)
Usabilitybewertung von Telematiksystemen Seite 13 Maximilian Köppel / Heinz-Leo Dudek
2. Testmethoden zur Usabilitybewertung Das nachfolgend beschriebene Verfahren zur Usabilitybewertung beruht im Wesentlichen
auf den Usabilitykriterien aus dem Evaluationsleitfaden zur Bewertung der Mensch-
Computer-Schnittstelle EVADIS II (siehe [OPP]), welche wiederum auf der DIN EN ISO 9241
aufbaut. Diese Usabilitykriterien umfassen:
Verfügbarkeit
Aufgabenangemessenheit
Übersichtlichkeit
Selbstbeschreibungsfähigkeit
Erlernbarkeit
Erwartungskonformität
Fehlerrobustheit
Individualisierbarkeit
Steuerbarkeit
Die genannten Kriterien werden anhand typischer Telematik-Back-Office Aufgaben bewertet,
wobei folgende Methoden eingesetzt werden:
Zeitmessung
Userbefragung (nach Durchführung der jeweiligen Aufgaben)
Expertenbefragung (mit so genannten Kriterienkatalogen)
Blickbewegungsmessung („Eyetracking“)
In [KOE1] finden sich eine nähere Beschreibung der Usabilitykriterien sowie die Ansätze zur
Operationalisierung durch vorstehend genannte Methoden.
In den folgenden Abschnitten werden der Katalog der repräsentativen Back-Office-Aufgaben
sowie die User- und Expertenfragen vorgestellt. Ebenso erfolgt in diesem Kapitel eine
Einführung in das Laborsystem der DHBW (Dikablis Professional der Firma Ergoneers) und
in die Auswertung der Eyetrackingdaten.
(Hinweis: Diese Unterkapitel entstammen [KOE1] und sind zur Vereinfachung für den Leser
hier übernommen.)
2.1. Testaufgabenkatalog Die Erhebung von repräsentativen Testaufgaben aus dem Anwendungsbereich eines
Telematiksystems bildet die Grundlage für den Usability-Test. Die Aufgaben oder
Nutzungsszenarios müssen dabei mehrere Bedingungen erfüllen. Zum einen bspw. muss die
Testperson die Aufgabenstellung auch ohne Vorkenntnisse lösen können. Unabhängig
Usabilitybewertung von Telematiksystemen Seite 14 Maximilian Köppel / Heinz-Leo Dudek
davon muss die Komplexität ausreichend gering sein, um den Tätigkeitsverlauf in der
Aufgabe nachvollziehen zu können. Nur so können z.B. Fehler im Portal als solche zu
erkannt werden. Ist diese Erkennung nicht mehr möglich, werden die Fehler ggf. als
Usability-Problem wahrgenommen und verzerren die Bewertung. Zusammenfassend gibt es
fünf wesentliche Merkmale zur Erstellung von Testszenarien:
Realistische und motivierende Szenarien
Reihenfolge für die Szenarien festlegen
Szenarien an Fähigkeiten der Probanden anpassen
Fachsprache und Stichwörter vermeiden
Inhalt sollte zeitlich gut zu bewältigen sein ([NAU], S. 53f)
Im Bereich der Telematik gibt es drei wesentliche Tätigkeitsbereiche im Back-Office. Diese
Bereiche sind zusammen mit einigen ihrer jeweils möglichen Aufgaben nachfolgend
aufgelistet:
Administrative Aufgaben, wie etwa
o das Anlegen eines neuen Fahrzeugs im System, o das Verwalten von Points of Interest (POI), oder o die so genannte Gebietsüberwachung.
Dispositive Aufgaben, z.B.: o die Ortung eines Fahrzeuges, o das Erstellen und Zuweisen von Transportaufträgen oder o Freitextnachrichten, sowie o das Abrufen des Fahrzeugstatus.
Analyseaufgaben, wie etwa: o die Auswertung des Kraftstoffverbrauchs auf einer bestimmte Fahrt, oder o die Fahrtstreckenauswertung.
([MAR], S. 26 f, [DUD])
Diese Use-Cases sollen also ein möglichst ein reales Abbild der Tätigkeiten eines
Disponenten wiedergeben und dabei von täglich auftretenden Routinen, wie etwa der
Vergabe eines Transportauftrages oder dem Auffinden eines Fahrzeuges bis hin zu eher
selten vorkommenden, administrativen Aufgaben, wie dem Anlegen eines
Fahrzeugdatensatzes reichen. Die Gewichtung der einzelnen Teilnoten der Aufgaben sollte
Usabilitybewertung von Telematiksystemen Seite 15 Maximilian Köppel / Heinz-Leo Dudek
dabei analog zur Eintrittswahrscheinlichkeit der modellierten Arbeitssituation erfolgen. Häufig
wiederkehrende Tätigkeiten sollten stark gewichtet werden, da hier eine unzureichende
Usability in Summe stärkere Auswirkungen erzeugt, als bei seltenen Aufgaben.
Der für diese Bewertungsmethode verwendete Aufgabenkatalog ist nachfolgend dargestellt.
Die Buchstaben in Klammern geben an, ob es sich um eine administrative (A), dispositive
(D) oder analytische Tätigkeit (R) handelt.
A1 Anlegen eines Fahrzeuges. (A)
A2 Vergabe eines Transportauftrages. (D)
A3 Versenden einer Nachricht. (D)
A4 Auswerten der Fahrtstrecke. (R)
A5 Ortung eines Fahrzeuges. (D)
A6 Report Geschwindigkeitsverlauf. (R)
A7 Report Kraftstoffverbrauch.(R)
A8 POI anlegen. (A)
A9 Gebietsüberwachung einrichten. (A)
Nach der Erhebung wurden die Aufgaben auf die ausgewählten Kriterien für die Usability
verteilt. Dabei wurde darauf geachtet, dass zum einen die Häufigkeitsverteilung der realen
Tätigkeit entspricht. Zum anderen sollen die pro Kriterium gewählten Aufgaben auch für
diesbezügliche Aussagen geeignet sein. Die nachfolgende Abbildung zeigt diese Zuordnung
der Aufgaben zu den Kriterien. In der Summenzeile ist dargestellt, wie oft die jeweilige
Aufgabe zur Bewertung herangezogen wird. Der Aufgabe „Transportauftrag vergeben“
kommt von der Anzahl her die höchste Bedeutung zu. Dahinter folgen die „Ortung eines
Fahrzeuges“ sowie das „Auswerten der Fahrtstrecke“. Diese Funktionen entsprechen sehr
stark dem Arbeitsalltag eines Disponenten, untergeordnete Tätigkeiten wie das „Anlegen
eines Fahrzeuges“ oder den „Report Kraftstoffverbrauch“ erhalten auch innerhalb dieser
Bewertungsmethode eine geringeres Gewicht.
Usabilitybewertung von Telematiksystemen Seite 16 Maximilian Köppel / Heinz-Leo Dudek
A1 A2 A4 A5 A7 A9
Verfügbarkeit x x xNützlichkeit x x xÜbersichtlichkeit x x xSelbstbeschreibungsfähigkeit x x xErlernbarkeit x x xErwartungskonformität x x xFehlerrobustheit x x xIndividualisierbarkeit x x xSteuerbarkeit x x x
Summe 3 8 6 6 2 2
Abbildung 15: Aufgabenverlauf und Zugehörigkeit zu Kriterien (Quelle: Eigene Darstellung)
Usabilitybewertung von Telematiksystemen Seite 17 Maximilian Köppel / Heinz-Leo Dudek
2.2. Laborsystem Dikablis der DHBW
2.2.1. Systembeschreibung Dikablis Professional von Ergoneers
Das Akronym „Dikablis“ für das Messgerät der Firma Ergoneers lässt sich von „Digitales
Kabelloses Blickbewegungsmesssystem“ ableiten ([BAM], S. 11). Aus den verschiedenen
Varianten des Eye-Tracking wurde für das Telematiklabor ein Gerät in der Ausführung „Eye-
Tracking Head Mounted“ angeschafft. Die nachfolgende Abbildung zeigt das Herzstück des
Blickmessgerätes an der DHBW in Friedrichshafen, nämlich die Dikablis Professional
Glasses. [ER2]
Abbildung 16: Dikablis Professional Eye-Tracking Head Mounted (Quelle: Ergoneers [ER2])
Die wesentlichen technischen Daten des Dikablis Professional Eye-Tracking Systems sind
nachfolgend aufgelistet:
Binokulares System, über Brillen, Kontaktlinsen und Shutter-Brillen tragbar
Szenenkamera: 1920 x 1080 Pixel (Full HD), 30fps
Trackingfrequenz je Augenkamera: 60 Hz
Öffnungswinkel Szenenkamera: 40°- 90° (über verschiedene Objektive)
Da das Laborsystem ein Gerät der Variante Dikablis Cable ist, also kabelgebunden, gehören
weitere Komponenten zum Versuchsaufbau. Die Dikablis Glasses werden direkt mit dem
Rechner verbunden, auf dem die Software D-Lab zur Aufnahme und Auswertung des
Usabilitybewertung von Telematiksystemen Seite 18 Maximilian Köppel / Heinz-Leo Dudek
Blickverhaltens installiert ist. Es ist hier dem Anwender überlassen, welche Hardware er
verwendet. Im Falle des Telematiklabors an der DHBW Friedrichshafen steht ein Hewlett-
Packard HP EliteBook 8570w mit 8 GB Arbeitsspeicher, Intel Core i5-3360M CPU mit 2,8
Ghz und 64 Bit-Betriebssystem zur Verfügung. Notebooks mit Komponenten geringerer
Leistung sind für Eyetracking-Anwendungen nicht zu empfehlen, da durch die Live-
Funktionen und die HD-Frontkamera des Eyetrackers große Datenmengen verarbeitet
werden müssen. Durch die Anbindung des Eyetrackers an den Laptop kann in Echtzeit
bspw. nachkalibriert oder die Qualität des Videos hinsichtlich erkannter Marker sichergestellt
werden. Eine weitere Systemvariante die aktuell in der Markteinführungsphase ist, stellt das
System Dikablis Mobile dar. Die Datenaufzeichnung erfolgt mobil über ein Tablet, auf dem
die Daten lokal gespeichert werden. Komplett kabellos ist die Ausführung Dikablis Wireless.
Hier werden die Daten über W-LAN zur Analyse an den Aufnahmerechner übermittelt.
Sämtliche Einstellungen können dort in Realtime vorgenommen werden während sich die
Testperson frei bewegt.
2.2.2. Kennzahlen in der Analysesoftware D-LAB
Die Software D-LAB der Firma Ergoneers bietet die Möglichkeit zum Aufzeichnen,
Nachkalibrieren und Auswerten der Blickdaten von Probanden. Speziell zur Auswertung
steht eine Vielzahl an Kennzahlen zur Verfügung. Die nachfolgende Abbildung 17 gibt einen
ersten Überblick über die möglichen Auswertungen und Kennzahlen.
Im Anschluss daran soll auf einige ausgewählte Kennzahlen (hervorgehoben in der
Abbildung 17) näher eingegangen werden. Sie werden hinsichtlich ihrer benötigten
Datengrundlage (z.B. AOI1) beschrieben und auf ihre Eignung in der Usability-Bewertung am
IWT untersucht. Außerdem werden die Berechnungsgrundlagen dargestellt, soweit sie vom
Systemhersteller dem Anwender zugänglich gemacht sind.
1 „Areas of Interest (AOI) werden definiert, um die Bereiche, für die das Blickverhalten von Interesse
ist, zu kennzeichnen.“ ([ER1], S. 44) Ein solcher Bereich kann bspw. als beliebiger Polygonzug
gezeichnet werden. Die Positionsreferenz im Video erfolgt über einen am Testbildschirm
angebrachten und von der Umgebungskamera des Eyetrackers mitaufgezeichneten Marker mit
Hexacode. Klassische AOI-Beispiele sind Menüs und Schaltflächen oder Eingabefelder.
Usabilitybewertung von Telematiksystemen Seite 19 Maximilian Köppel / Heinz-Leo Dudek
Abbildung 17: Überblick über Auswertemetriken in D-LAB (Quelle: D-LAB Analyse, eigene Darstellung)
Usabilitybewertung von Telematiksystemen Seite 20 Maximilian Köppel / Heinz-Leo Dudek
Duration [s] Dieser Wert stellt im „Entire Data Session“ Modus schlicht die Laufzeit der Aufzeichnung dar.
Der Wert wird in Sekunden angegeben und dient zur Relativierung von bspw. kumulierten
Kennwerten.
AOI Attention Ration [%] Diese Aufmerksamkeitsrate für einen Interessensbereich (AOI) gibt den prozentualen Anteil
der Blicke auf ein gewähltes AOI in einem einstellbaren Zeitintervall an. Dieser Prozentsatz
berechnet sich wie folgt:
∑ ⋯ ∗ 100% (6.1)
Glance Location Probability [%] Dieser Wert gibt die Wahrscheinlichkeit in Prozent an, dass der Blick während eines
Zeitintervalls auf ein AOI oder ein AOI-Set fixiert ist. Er berechnet sich wie folgt:
, ∗ 100% (6.2)
Link Value Probability [%] Hier wird die Wahrscheinlichkeit in Prozent eines Blickwechsels zwischen zwei
unterschiedlichen AOI’s in einem gewählten Zeitintervall berechnet. Die LVP von AOI A nach
AOI B berechnet sich daher folgendermaßen:
_ _
∗ 100% (6.3)
Percentage Transition Times [%] Dieser Prozentsatz bezieht sich auf den Zeitanteil der Blickwechsel zwischen AOI’s am
Messzeitraum. Der Kennzahl liegt zugrunde, dass in dieser Zeit keine Information
aufgenommen werden kann. Je höher also dieser Prozentsatz, desto weniger
Informationsaufnahme durch den User.
∑ ⋯ ∗ 100% (6.4)
Usabilitybewertung von Telematiksystemen Seite 21 Maximilian Köppel / Heinz-Leo Dudek
Horizontal Eye Activity (analog: Vertical Eye Activity) [pixel] Diese Kennzahlen sind ebenfalls ein Maß für die Suchaktivität des Blickes. Die Werte in
[pixel] bezogen auf das Bild der Frontkamera entsprechen der Standardabweichung der
Pupille von der mittleren Blickachse. Je höher beide Werte, desto höher die Suchaktivität des
Blickes.
Number of fixations (left/right) Unter dieser Kennzahl wird die Anzahl an Fixationen (auf ein AOI) pro Auge im gewählten
Zeitraum angegeben. Die Darstellung dieser Kennzahl in verschiedenen Extremfällen findet
sich in der Korrelationsanalyse im Kapitel 2.3.2.
Number of saccades (left/right) Unter dieser Kennzahl wird die analog zu den Fixationen im Absatz oben die Anzahl an
Sakkaden pro Auge im gewählten Zeitraum angegeben. Analog zur Fixationskennzahl finden
sich Darstellungen zum Verhalten der Sakkadenanzahl über die Aufnahmedauer im Kapitel
2.3.2. Auch bei den Sakkaden gilt: Sie sind ein Maß für die Suchaktivität – je mehr
Sakkaden, desto weniger Information findet der User an einer Stelle.
Eine grundlegende Herausforderung bei der Nutzung von Eyetrackingdaten zur
Usabilitybewertung stellen die Kennzahlen dar, die auf systemspezifischen AOI beruhen.
Systemspezifisch deshalb, da davon auszugehen ist, dass sich die Testsysteme doch eher
stark unterscheiden hinsichtlich ihrer Oberflächenstruktur. Das heißt, bei ca. 15
Testsystemen ergeben sich unter der Annahme, dass alle Aufgaben in den Systemen
verschieden dargestellt werden, bereits 90 AOI-Sets (Annahme: 6 Eyetrackingaufgaben pro
Systemtest). Des Weiteren ist davon auszugehen, dass pro Aufgabe verschiedene Frames
durchlaufen werden, innerhalb derer sich die AOI-Lage wieder ändert. Mit der Annahme von
3 Frames pro Aufgabe ergeben sich so 270 einzelne AOI-Konstellationen. Zwar können
diese Bereiche bei Aufzeichnung der Eyetracking-Messungen mit Markern auch nachträglich
eingefügt werden, aber grundsätzlich ist das AOI-Management mit erheblichem
Mehraufwand verbunden. Deswegen wurde in der hier beschriebenen Usabilityuntersuchung
im Rahmen DTP16 darauf verzichtet.
Eine Alternative zu den im D-LAB Programm definierten AOI’s für z.B. Schalt- und
Eingabeflächen wäre die Unterteilung des im Test verwendeten Bildschirms in aufgaben-
und systemunabhängige Quadrate. Beispielweise wird der Bildschirm mit einer Anordnung
aus 12 aneinander gelegenen AOI’s versehen (Skizze in Abbildung 18). Werden dann die
Koordinaten der einzelnen Fixationen aus der Analysesoftware ausgelesen und in bspw. in
einer Tabelle ausgelesen, können die Orte mit Anhäufungen von Fixationen bestimmt
Usabilitybewertung von Telematiksystemen Seite 22 Maximilian Köppel / Heinz-Leo Dudek
werden. Es kann ausgewertet werden, ob z.B. Fixationen nur in 6 von 12 Feldern
vorkommen und das getestete System somit ein gewisses Maß an Übersichtlichkeit aufweist,
da der Proband nicht in allen Bildschirmfeldern nach Informationen sucht.
Die aktuell verfügbare SW-Version des Ergoneers Systems bietet diese Möglichkeit leider
noch nicht. Diese Auswertemöglichkeit sollte zukünftig aber nochmals aufgegriffen werden.
Abbildung 18: Überlagern eines Telematikportals (ZF Openmatics) mit AOI-Raster (Quelle: eigene Darstellung)
Wie bereits in vorangegangenen Unterabschnitten (siehe hierzu auch [GOL] S. 501)
beschrieben, eignen sich die „number of saccades“ und „number of fixations“ für die
Bewertung von Usability. Beide Kennzahlen sind in D-Lab verfügbar. Eine „scanpath length“
bietet das Programm noch nicht, dieses Feature ist jedoch für kommende Releases
eingeplant2. Möglich und in eine ähnliche Richtung zielend (s.o.) ist die Auswertung von
„horizontal/vertical eye activity“ als Maß für die Suchaktivität.
2 Aussage Firma Ergoneers: Anfang des kommenden Jahres wird voraussichtlich automatisch der
Sakkadenwinkel berechnet werden, was wiederum durch Umrechnung in Pixel (der Frontkamera) und
Summe über die Sakkaden zur Pfadlänge führen würde.
AOI 1 AOI 2
… AOI 11 AOI 12
…
Usabilitybewertung von Telematiksystemen Seite 23 Maximilian Köppel / Heinz-Leo Dudek
2.3. Testdurchführung mit Eyetracking
2.3.1. Verwendete Kennzahlen
Aufgrund der schnell steigenden Aufwände beim Verwalten und Anlegen von AOI’s in
Studien mit mehreren Testsystemen, sollen an dieser Stelle vorerst Kennzahlen verwendet
werden, die sich direkt aus der Blickmessung ableiten lassen. Hierzu gehören die „number of
fixations“ sowie die „number of saccades“. Auch die „horizontal eye activity“ soll zusammen
mit der „vertical eye activity“ zur Bewertung verwendet werden, da die Operationalisierung
der Kriterien gezeigt hat, dass beim Eyetracking meist Indikatoren für die Suchaktivität
gemessen werden müssen. Unabhängig davon muss auch die Dauer der
Aufgabenbearbeitung bzw. der Aufzeichnung ausgewertet werden („duration“). Gerade über
diese Kenngröße könnte ein Lerneffekt ermittelt werden, der sich bspw. in der schneller
werdenden Bearbeitung einer Aufgabe und somit kürzeren Aufzeichnung niederschlägt.
Außerdem muss geklärt werden, wie die Messdaten im Eyetracking miteinander über die
Durchläufe verrechnet werden. Die Messungen zeigen hin und wieder Extremwerte
innerhalb, was z.T. an schlechten Erkennungsraten liegt. Beispiele für solche Ausreißer
finden sich in den Rohdaten zur Extremwertbestimmung sowie in den Daten zur horizontalen
und vertikalen Korrelationsanalyse. Da das arithmetische Mittel sehr stark anfällig ist für
Ausreißer, sollte ein eher von Extremwerten unabhängiger Mittelwert verwendet werden. Die
Wahl fällt also auf den Median.
2.3.2. Korrelationsanalyse der verwendeten Kennzahlen
Um die Abhängigkeiten oder ggf. Unabhängigkeiten unter den verschiedenen Kennzahlen in
D-LAB zu erkennen, ist die Korrelationsanalyse3 ein geeignetes Mittel. Das nachfolgende
Kapitel behandelt verschiedene Konstellationen der unter 2.3.1 ausgewählten Kennzahlen.
Es wurden drei Szenarien, bzw. „Extremfälle im Blickverhalten“ berücksichtigt.
Diese sind angelehnt an die Bewegungsfälle, wie sie Duchowski (2007) beschreibt (siehe
hierzu [DUC] S. 42 f).
3 „Das Ziel der Korrelationsanalyse ist, die Strenge des Zusammenhanges zwischen […] einzelnen
Variablen zu ermitteln. Bestimmt wird […] der Grad des linearen Zusammenhanges. Betrachtet man
die Verteilung zweier Variabler, so stellt man häufig fest, daß die Veränderung der einen Variablen
einen Einfluß auf die Veränderung der anderen Variablen besitzt. Das Maß für den Grad der
Beeinflussung ist der sog. Korrelationskoeffizient. Dieser variiert (im Intervall [-1,0; 1,0]) […] womit
nicht nur die Stärke des Zusammenhanges, sondern auch die Richtung angezeigt wird.“ [WIL] Ein
positiver Koeffizient nahe dem Wert 1,0 ist ein Indikator für hohe Korrelation der verglichenen
Variablen.
Usabilitybewertung von Telematiksystemen Seite 24 Maximilian Köppel / Heinz-Leo Dudek
Fall 1: Fixieren eines Punktes In diesem Fall fixiert der Proband einen Punkt auf dem Bilschirm, bspw. die Schaltfläche zum
Schließen eines Fensters. Der Kopf wird dabei der Situation entsprechend nicht bewegt.
Aufgezeichnet wird der Fall jeweils mit 5 sec, 10 sec, und 20 sec Aufnahmedauer um das
Verhalten der Kennzahlen beim Fixieren eines Punktes auch in Abhängigkeit von der Zeit
darstellen zu können.
Fall 2: Smooth Pursuit Dieser Fall stellt einen Kompromiss aus den beiden Extremfällen (Fall 1 und Fall 3) dar. Der
Proband fixiert nun seinen Blick auf ein langsam bewegtes Objekt. In diesem Fall den Zeiger
der Maus. Dieser wird vom Probanden willkürlich über den Bildschirm bewegt. Der
menschliche Blick ist nun in der Lage dieses Objekt noch zu fixieren, es entstehen noch
keine Sakkaden. Trotzdem sollte dieser Fall einer realen Arbeitssituation am Bildschirm nahe
kommen und mit seinen Ergebnissen innerhalb des durch die Extremfälle aufgespannten
Intervalls bleiben.
Fall 3: Sprunghafter Blick Dieser Fall ist das Gegenteil von Fall 1, dem Fixieren eines Punktes. Hier ist der Proband
nun dazu angehalten, den Blick willkürlich und sprunghaft über den Bildschirm zu bewegen,
ohne konkrete Grafikelemente zu fixieren. So soll ein durch Sakkaden geprägtes
Testergebnis zu Stande kommen. Auch in diesem Fall werden Aufnahmen von 5 sec, 10 sec
und 20 sec Dauer aufgezeichnet.
Eine erste Korrelationsanalyse befasst sich mit dem Zusammenhang zwischen der „number
of saccades“ und der „number of fixations“, die innerhalb der Aufzeichnungen zu Stande
kommen. Die Abbildung 19 zeigt diese Untersuchung. Der Korrelationskoeffizient zwischen
Sakkaden und Fixationen ist im Fall 1: 0,98. Im Fall 2 beträgt 0,91 und schließlich im Fall 3: 0,99. Abgesehen von einer unwesentlich geringeren Korrelation im Fall 2 hängen die Kennzahlen stark voneinander ab. Ein Erklärungsversuch: Eine Sakkade erfolgt
bei einem Wechsel der Aufmerksamkeit hin zu einem anderen Punkt, bzw. bei der Suche
nach einer Information. Am Ende der Sakkade wird das erreichte Gebiet auf Informationen
hin überprüft, es kommt zu einer Fixation. Diese Erkenntnis führt dazu, lediglich die von der
Literatur empfohlenen „number of saccades“ in den Auswertungen zu berücksichtigen.
Ein weiterer Punkt begünstig diese Auswahl: Während einer Sakkade kann das menschliche
Gehirn keine Information aufnehmen. Die umgekehrte Annahme, während einer Fixation
immer Informationen zu verarbeiten, ist jedoch nicht richtig, da Fixationen (z.B. unterbewusst
auf eine leere Fläche) nicht zwangsläufig mit Informationsverarbeitung einhergehen.
Usabilitybewertung von Telematiksystemen Seite 25 Maximilian Köppel / Heinz-Leo Dudek
Abbildung 19: Darstellung der Number of Saccades über der Number of Fixations (Quelle: eigene Darstellung)
Ein weiterer Aspekt, der an dieser Stelle aufgegriffen werden soll, ist das Verhalten der
„number of fixations“ über die Zeit. Eine Darstellung der Fixationskennzahl über alle drei
Fälle und alle drei Aufnahmedauern zeigt die Abbildung 20. Diese Grafik zeigt, dass mit
zunehmender Aufnahmedauer auch der Wertebereich der Messungen der Anzahl an
Fixationen ansteigt. Dieses Maß ist also eine Art „Streckenmaß“, nämlich abhängig vom
Messzeitraum.
Analog zum zeitlichen Verhalten der „number of fixations“ wurden auch die „number of
saccades“ betrachtet – vor dem Hintergrund der hohen Korrelation zwischen diesen
Kennzahlen aus Abbildung 19 ist ein ähnlicher Verlauf eher zu erwarten. Eine Darstellung zu
diesem Sachverhalt findet sich in Abbildung 21. Die Grafik ähnelt folgerichtig der
vorangegangenen Betrachtung der Fixationen. Auch die Sakkaden sind somit ein
anwachsendes „Streckenmaß“.
Zwar verhält sich bei beiden Darstellungen der Fall 2 nicht entsprechend der
Wachstumstheorie – liegt der Wertebereich der 20-sec-Aufnahmen hier doch wieder deutlich
niedriger als noch bei 10 sec. Der von 5-sec-Aufnahmen zu 10-sec-Aufnahmen beobachtete
Trend wird also gestört. Allerdings bewegen sich die Werte immer noch innerhalb des durch
die Extremfälle aufgespannten Rahmens und könnten so auf die willkürliche
Bewegungssituation und individuellen Eigenschaften der Probanden zurückgeführt werden.
Usabilitybewertung von Telematiksystemen Seite 26 Maximilian Köppel / Heinz-Leo Dudek
Abbildung 20: Darstellung der Number of Fixations über der Aufnahmedauer (Quelle: eigene Darstellung)
Abbildung 21: Darstellung der Number of Saccades über der Aufnahmedauer (Quelle: eigene Darstellung)
Im weiteren Verlauf dieser Analyse soll nun das Verhältnis von „eye activity“ (horizontal und
vertikal) zu den „number of saccades“ dargestellt werden. Hierzu findet sich die Darstellung
mit der Horizontalkennzahl in der Abbildung 22.
In dieser Darstellung sind die Korrelationskoeffizienten wie folgt: Für den Fall 1 ist 0,69 und für den Fall 2 ist 0,55. Weiter ab nimmt der Wert hin zum dritten Fall, wo 0,28 ist. Diese Werteentwicklung zeigt eine schwache Korrelation im recht statischen
Fixationsszenario (Fall 1). Mit zunehmender Bewegung von Augen und Kopf nimmt die
Korrelation ab bis hin zu einem stark negativen linearen Zusammenhang. Ähnlich gestalten
sich die Werte in Abbildung 23 bei der Vertikalkennzahl ( 0,85; 0,15; 0,13). Im Fazit bedeutet dies, dass beide Arten der „eye activity“ als unabhängig von der „number
of saccades“ anzusehen sind.
Usabilitybewertung von Telematiksystemen Seite 27 Maximilian Köppel / Heinz-Leo Dudek
Abbildung 22: Darstellung der Number of Saccades über der Horizontal Eye Activity (Quelle: eigene Darstellung)
Nach der Korrelationsbetrachtung zwischen Augenaktivität und Sakkadenkennzahl
interessiert nun der Zusammenhang zwischen den beiden Ausprägungsarten der „eye
activity“ (vertikal oder horizontal). Die nachfolgende Abbildung 24 zeigt die Darstellung der
vertikalen über der horizontalen „eye activity“. Für die Extremfälle liegt der
Korrelationskoeffizient im Fall 1 bei 0,72 und im Fall 3 bei 0,45. Diese Werte sind zwar noch im Bereich positiven linearen Zusammenhangs, jedoch eher nur schwach
korreliert. Im Fall 2 ist der Koeffizient 0,21 was bereits einem negativen Zusammenhang entspricht. Insgesamt können also die beiden Ausprägungsarten der „eye
activity“ aufgrund der schwach positiven bis eher negativen Zusammenhänge ebenfalls als
voneinander unabhängig betrachtet werden.
Usabilitybewertung von Telematiksystemen Seite 28 Maximilian Köppel / Heinz-Leo Dudek
Abbildung 23: Darstellung der Number of Saccades über der Vertical Eye Activity (Quelle: eigene Darstellung)
Abbildung 24: Darstellung der Vertical Eye Activity über der Horizontal Eye Activity (Quelle: eigene Darstellung)
Den Schlusspunkt innerhalb der Korrelationsanalyse markiert die Einordnung der
Augenaktivität in den zeitlichen Bezug verschiedener Messdauern analog der Betrachtung in
den vorangegangenen Abbildungen zu Fixations- und Sakkadenkennzahl. Im Gegensatz zu
Usabilitybewertung von Telematiksystemen Seite 29 Maximilian Köppel / Heinz-Leo Dudek
den dortigen Ergebnissen zeigt sich bei der „eye activity“ im horizontalen wie vertikalen Fall
eben kein Anstieg mit zunehmender Aufnahmedauer. Die Werte der Fälle 1 bis 3 bewegen
sich für alle Aufnahmezeiten auf einem jeweils ähnlichen Niveau (vgl. hierzu Abbildung 25
und Abbildung 26). Die „eye activity“ kann also in beiden Fällen als ein zeitunabhängiges
„Geschwindigkeitsmaß“ angesehen werden.
Abbildung 25: Darstellung der Horizontal Eye Activity über der Aufnahmedauer (Quelle: eigene Darstellung)
Abbildung 26: Darstellung der Vertical Eye Activity über der Aufnahmedauer (Quelle: eigene Darstellung)
Usabilitybewertung von Telematiksystemen Seite 30 Maximilian Köppel / Heinz-Leo Dudek
2.3.3. Extremwertbestimmung der Kennzahlen
Nach der Vorauswahl möglicher Kennzahlen der Blickbewegungsmessung und der
Korrelationsanalyse sollen an dieser Stelle die Extremwerte ermittelt werden, die zur
Notenbildung herangezogen werden. Die dafür notwendige Datengrundlage kann direkt der
Korrelationsanalyse entnommen werden, da hier anhand der drei oben beschriebenen Fälle
(fixierender Blick, sprunghafter Blick, langsam folgender Blick) die Extremwertbereiche
bereits erfasst wurden.
„number of saccades“ Wie die Korrelationsanalyse gezeigt hat, entwickelt sich diese Kennzahl sehr ähnlich wie die
„number of fixations“ und wird daher alleinig weiter als Metrik zur Bewertung verwendet. Die
Auswertung der Extremfälle in der Korrelationsanalyse zeigt für den Fall 1 und somit für
einen Fall der Systeminteraktion mit sehr wenig Suchaktivität einen Wert von 0,35 Sakkaden
pro Sekunde (Note 1,0). Im Fall 3 mit sehr hoher Suchaktivität kommen ca. 3 Sakkaden pro
Sekunde zu Stande (Note 5,0).
Abbildung 27: Linearer Verlauf der Bewertung der Sakkadenanzahl pro Sekunde (Quelle: eigene Darstellung)
„horizontal eye activity” Über alle drei zeitlich verschiedenen Aufzeichnungsserien ergibt sich im Fall 1 ein Wert für
die horizontale Aktivität von rund 45 Pixeln. Damit ist diese Zahl der Eckpunkt für die Note
1,0. Im Fall 3 liefert die Betrachtung über alle zugehörigen Aufzeichnungen einen Wert von
etwa 310 Pixeln und ergibt so die Note 5,0.
1,0
5,0
0,01,02,03,04,05,06,0
0,00 1,00 2,00 3,00
Note
saccades / second
Number of Saccades per Sec.
Number ofSaccades per Sec.
Usabilitybewertung von Telematiksystemen Seite 31 Maximilian Köppel / Heinz-Leo Dudek
Abbildung 28: Linearer Verlauf der Bewertung der horizontalen Augenaktivität (Quelle: eigene Darstellung)
„vertical eye activity“ Über die verschiedenen Aufzeichnungsserien ergibt sich für die vertikale Augenaktivität im
Fall 1 ein Wert von rund 20 Pixeln, was im Folgenden den Bestfall und somit die Note 1,0
repräsentiert. Im Fall 3 liefert die Betrachtung der Aufzeichnungen einen Wert von etwa 220
Pixeln für die Note 5,0. An dieser Stelle ist festzuhalten, dass die horizontale Suchaktivität
höhere Extremwerte annimmt, als die vertikale. Empirische Untersuchungen haben ergeben,
dass die Achse für horizontale Drehungen des Auges senkrecht durch den Augenmittelpunkt
verläuft. Die Drehachse für vertikale Drehungen allerdings geht durch einen um einen
Abstand d nach vorne verschobenen Punkt senkrecht zur Drehachse für horizontale
Drehungen. Durch diese Asymmetrie bezogen auf den Augenmittelpunkt fallen dem
Menschen horizontale Bewegungen leichter (vgl. hierzu [SCH], S. 4).
Abbildung 29: Linearer Verlauf der Bewertung der vertikalen Augenaktivität (Quelle: eigene Darstellung)
5,0
1,00,01,02,03,04,05,06,0
0,0 100,0 200,0 300,0 400,0
Note
Pixel
Horizontal Eye Activity
Horizontal EyeActivity
5,0
1,00,01,02,03,04,05,06,0
0,0 50,0 100,0 150,0 200,0 250,0
Note
Pixel
Vertical Eye Activity
Vertical EyeActivity
Usabilitybewertung von Telematiksystemen Seite 32 Maximilian Köppel / Heinz-Leo Dudek
Abschließend soll an dieser Stelle eine exemplarische Berechnung einer Teilnote für eine
Eyetracking-Aufgabe gezeigt werden (siehe nachfolgende Abbildung). Ausgewählt wurde die
meistgenutzte Aufgabe „Vergabe eines Transportauftrages“, hier im Usabilitykriterium
„Übersichtlichkeit“. Die Datengrundlage stammt aus einem Test an einem System im
Telematiklabor der DHBW. Anhand der gemittelten Werte über mehrere Durchläufe wird eine
Note für jede Kennzahl berechnet und zur Bestimmung einer Teilnote für diese Aufgabe
herangezogen.
Aufgabe A2 Vergabe eines Transportauftrages.
NOS_LR/sec HEA VEA
Median 1,22 80,69 59,90 GesamtGewichtungNote Berech 2,31 1,54 1,80Note 2,31 1,54 1,80 1,9
Abbildung 30: Beispielhafte Darstellung der Eyetracking-Note für die Aufgabe A2 im Kriterieum "Übersichtlichkeit"
(Quelle: eigene Darstellung)
2.4. Testdurchführung mit Fragen und Kriterienkatalog Nachdem detailliert auf die Kennzahlen bei der Blickbewegungsmessung mitsamt ihrer
zugehörigen Extremwerte und die Notenbildung eingegangen wurde, erfolgt an dieser Stelle
ein Blick auf die Bewertung von Usability mittels Fragen und Kriterienkatalogen. Die
Abbildung 31 auf der nachfolgenden Seite zeigt beispielhaft die Erfassung der Usermeinung
für die Verfügbarkeit – respektive die Performance – eines Systems. Hier ebenfalls zu sehen
ist die Gewichtung der Aufgaben zueinander in diesem konkreten Kriterium. Der User hat in
der Studie mehrere Aufgaben in Serien bearbeitet. Die Userfragen werden immer nach
Abschluss der übrigen Messverfahren als Evaluation am Ende der Tests mit einem
Probanden gestellt. Der Proband gibt seine Einschätzung zum jeweiligen Kriterium direkt als
Note auf einer Skala von 1,0 bis 5,0 zu Protokoll. Entsprechend der Gewichtung werden die
einzelnen Bewertungen verrechnet und über alle Usernoten das arithmetische Mittel
gebildet.
Usabilitybewertung von Telematiksystemen Seite 33 Maximilian Köppel / Heinz-Leo Dudek
Frage
Ergebnisse Gewichtung User 1 User 2 User 3
30% 1,0 1,0 1,0
35% 3,0 3,0 3,0
35% 1,0 1,0 1,0
1,7 1,7 1,7Note Userfrage 1,7
Wie haben Sie die Performance bzw. Verfügbarkeit des Systems bei den verschiedenen Aufgaben wahrgenommen? Bitte beurteilen Sie für jede Aufgabe auf einer Skala von 1 bis 5 (Schulnoten).
Vergabe eines Transportauftrages.
Auswerten der Fahrtstrecke.
Ortung eines Fahrzeuges.
Abbildung 31: Beispiel einer Userfrage - hier für das Kriterium Verfügbarkeit (Quelle: eigene Darstellung)
Nach der Betrachtung der Userfragen soll eine Beschreibung der Kriterienkataloge erfolgen.
Eine Beispielbewertung der Individualisierbarkeit ist in Abbildung 33 dargestellt. Diese
Kataloge sind grundsätzlich für alle Kriterien, bei denen sie zum Einsatz kommen, gleich
aufgebaut. Das bedeutet, die Maximalpunktzahl ist für jeden Katalog identisch und beträgt 26
Punkte. In Anlehnung an die Bewertung an Hochschulen wird die Noten 1,0 bei Erreichen
der Maximalpunktzahl vergeben. Die Note 4,0 wird vergeben, wenn 50% der Punkte
vergeben werden.
Abbildung 32: Linearer Verlauf der Notenskala für einen Kriterienkatalog mit max. 26 Punkten (Quelle: eigene
Darstellung)
4,0
1,0
0,0
1,0
2,0
3,0
4,0
5,0
0 10 20 30
Note
Punkte
Kriterienkatalog
Kriterienkatalog ‐26P
Usabilitybewertung von Telematiksystemen Seite 34 Maximilian Köppel / Heinz-Leo Dudek
Erfüllt (x) Punkte ErgebnisKann die Sprache für diese Aufgabe variiert werden?
Nein 0Ja, und zwar… x 1 1DE, EN x 2 2Andere x 1 1
Wie sind die Berechtigungen zum Verändern der Sprache?Jeder User kann seine Sprache einstellen x 2 2Nur ein Admin kann Einstellung für User machen. 0
Kann die Größe der Darstellung verändert werden?Einstellungen im Portal 2Strg + Mausrad x 1 1
Sind bei dieser Aufgabe individuelle Shortcuts möglich?Ja x 1 1Nein 0
Hat der User weitere Anpassungsmöglichkeiten?Keine 0Maßeinheiten (metrisch/imperial) x 1 1Währungseinheit x 1 1Zahlen‐ und Datumsformate 1Andere 1
Kann der User Voreinstellungen vornehmen?Nein. 0Eingaben als Vorlagen speichern. 1Verwaltung beliebiger Defaultwerte. x 2 2
Sind Einstellungen bei der Komplexität möglich?Nein. 0Eigene Funktionen hinzu. x 2 2Funktionsfolgen ändern/zsf. x 2 2Einsteiger oder fortgeschrittener User. x 2 2Andere 1
Usersettings werden gespeichert.Ja x 2 2Nein 0
Punktesumme Kriterienkatalog Max. 26 20Note (Berechnet) 2,4Note Kriterienkatalog 2,4
Checkliste
Abbildung 33: Beispielbewertung der Individualisierbarkeit mit Hilfe eines Kriterienkataloges (Quelle: eigene
Darstellung)
Der Ablauf der Validation mit einem Kriterienkatalog ist recht einfach gehalten. Der
Versuchsleiter bzw. ein Experte nimmt den Abgleich der Antwortmöglichkeiten mit dem
Testsystem vor. Die zutreffende Antwort wird mit einem Kreuz vermerkt, woraufhin
automatisch die Punkte vergeben werden und sich eine Note errechnet. Eine Übersicht über
alle Kriterien mit Kriterienkatalog und deren konkrete Ausformulierung findet sich im Anhang.
Usabilitybewertung von Telematiksystemen Seite 35 Maximilian Köppel / Heinz-Leo Dudek
2.5. Testdurchführung mit Zeitmessung Abschließend zu den Ausführungen zur Testdurchführung und Notenbildung soll noch kurz
auf die Berechnungsvariante für die Antwortzeiten eingegangen werden. Gemessen werden
die Gesamtbearbeitungszeit T (Ges.) sowie die Antwortzeit des Systems T (Ant.). Zur
Berechnung wird jedoch lediglich die Antwortzeit herangezogen, da sie unabhängig von der
Bearbeitungszeit ist. Bei der Berechnung eines Quotienten würden längere
Gesamtbearbeitungszeiten das Ergebnis schönen und kürzere Aufgaben es im Gegenzug
verschlechtern.
Aufgabe A5 Ortung eines Fahrzeuges.
T (Ges.) T (Ant.)22,10 0,40 Gesamt
1,001,0
Mittel (Arithm.)Note Berechnet
Note
Abbildung 34: Antwortzeit bei der Aufgabe "Fahrzeugortung" aus dem Kriterium „Verfügbarkeit“ (Quelle: eigene
Darstellung)
Die Messungen von verschiedenen Antwortzeiten im Zuge der Labortests haben meistens
Werte kleiner 1 sec ergeben. Wie auch oben stehende Abbildung 34 beispielhaft zeigt, sind
Werte im Bereich von 0,4 sec durchaus möglich. Um eine Spreizung der Ergebnisse zu
erreichen wird die Noten 1,0 mit Erreichen einer Antwortzeit von einer halben Sekunde
vergeben. Wenn die Antwortzeit 5 sec überschreitet wird eine Note 5,0 vergeben.
Grundsätzlich muss festgehalten werden, dass die Antwortzeit bspw. bei der Auswertung
von umfangreichen Fahrten technisch bedingt ansteigen wird. Statistisch belastbare
Versuchsreihen zu diesem Effekt stehen jedoch derzeit noch aus. Daher wird bis auf
weiteres eine für alle Aufgaben aus dem Testaufgabenkatalog gültige Skala verwendet.
Usabilitybewertung von Telematiksystemen Seite 36 Maximilian Köppel / Heinz-Leo Dudek
Abbildung 35: Linearer Verlauf der Notenskala für die Antwortzeit des Systems (Quelle: eigene Darstellung)
2.6. Methodenvalidation und Beschreibung der Tests
Wie in der Zielsetzung zu dieser Arbeit formuliert, soll die aufgestellte Methode zur
Bewertung von Usability in ihren Grundzügen validiert werden. Diese Anwendung der
gewählten Messmethoden, Fragen und Kriterienkataloge zur Beurteilung einzelner
Teilbereiche der Usability fand im Rahmen des ersten Teils einer Projektaufgabe von
Studenten im Studiengang Wirtschaftsingenieurwesen statt. Dabei wurden an den Systemen
im Telematiklabor der DHBW am Campus Friedrichshafen Usabilitybewertungen unter
realen Bedingungen durchgeführt. Im Folgenden sind wichtige Aspekte bei der Durchführung
dargestellt. Das sind etwa Störgrößen zu den einzelnen Versuchsaufbauten und erste
Lessons Learned bei den einzelnen Testmethoden.
2.6.1. Aspekte beim Test mit Eyetracking
Nach der Erläuterung der Überlegungen zur Testplanung soll nachfolgend kurz auf die für
das Eyetracking-Messverfahren notwendigen Hilfsmittel eingegangen werden. Eine Liste gibt
einen ersten Überblick, was vor Testbeginn vorbereitet sein muss:
1 Blickmessgerät „Ergoneers Dikablis Cable Professional“
1 Labor-Laptop zur Messdatenerfassung mit lauffähiger D-LAB Umgebung
1 Datei in Excel zur Erfassung und Verarbeitung der systemspezifischen Messdaten
1 Aufgabenliste (Beispielaufgaben)
1 Testperson (3 je System)
1 Versuchsleiter
1 Protokollant
5,0
1,00,01,02,03,04,05,06,0
0,0 2,0 4,0 6,0
Note
T in Sekunden
Antwortzeit
T (Ant.)
Usabilitybewertung von Telematiksystemen Seite 37 Maximilian Köppel / Heinz-Leo Dudek
Bei der Versuchsdurchführung mit einem Blickmessgerät müssen im Vorfeld mögliche
Störfaktoren überlegt und mögliche Gegenmaßnahmen formuliert werden. Gerade durch die
sehr feinfühlige Messung der visuellen Wahrnehmung haben hier Fremdeinflüsse große
Auswirkungen auf die Ergebnisse. Die bisher bekannten Einflussfaktoren stellt die Tabelle 1
auf der folgenden Seite dar.
Zuerst ist die Ablenkung der Testperson als Einflussgröße zu nennen. Unterbewusst neigt
der Mensch dazu, seinen Blick immer in Richtung eines Reizes zu richten. Daher sollte
derartigen Einflüssen vorgebeugt werden, in dem z.B. ein ruhiger Raum ohne Zuschauer
gewählt wird. Auch sollten potentielle Lärmquellen wie Mobiltelefone oder anderweitige
visuelle Reize wie ein Fenster im zentralen oder peripheren Sehfeld des Probanden
vermieden werden. Eine Konzentration des Probanden auf den Bildschirm und nicht auf die
Aufgabenstellung oder den Versuchsleiter wird erreicht durch ein ausführliches Briefing
sowie das Vorlesen der Aufgaben.
Auf technischer Seite ist hauptsächlich die Kalibiergenauigkeit des Blickmessgerätes eine
Quelle für Fehler und Störungen. Hier sollte möglichst exakt kalibriert werden. Eine neue
Kalibrierung ist in regelmäßigen Abständen (z.B. nach jeder Aufgabenserie) dringend zu
empfehlen. Wird exakt kalibriert, so kann der Blick des Probanden auf der
Bildschirmoberfläche sehr genau lokalisiert werden (siehe nachfolgende Abbildung).
Abbildung 36: Lokalisierung des Blickpunktes eines Probanden (rotes Fadenkreus) mit Eyetracking (Quelle:
Eigene Darstellung)
Usabilitybewertung von Telematiksystemen Seite 38 Maximilian Köppel / Heinz-Leo Dudek
Eher weiche Einflussfaktoren wie etwa der Erfahrungshorizont des Probanden mit ähnlicher
Software oder allgemein seine Softwareaffinität können ebenfalls berücksichtigt werden.
Denkbar ist zur späteren Nachverfolgung eventueller Abweichungen mancher Messwerte
eine Skala, auf der jeder Proband verortet wird (IT-Experte, …, gelegentlicher IT-User).
Tabelle 1: Störgrößen beim Eyetracking (Quelle: eigene Darstellung)
Störgrößen Gegenmaßnahmen
Ablenkung der Testperson
ruhiger Raum, keine
Lärmquellen, Handys, kein
Fenster direkt hinter dem
Bildschirm, Briefing
Blick der Testperson auf
Versuchsleiter oder
Aufgabenblatt
Briefing des Probanden, Vorlesen
der Aufgaben
Messungenauigkeit des
Eyetrackers
Exakte Kalibrierung des
Eyetrackingsystems (Echtzeit und
Nachkalibrierung),
Neukalibrierung zwiscchen den
Aufgabenserien, Verwendung
von QR-Codes als Marker
Kalibrierungsfehler durch den
Versuchsleiter Einarbeitung, Schulung, Testläufe
Erfahrungshorizont der
Testperson mit bedienergeführter
Software
Einstufung auf Skala [1,…5]
Qualitative Ergänzung der
Messungen
Softwareaffinität der Testperson Einstufung auf Skala [1,…5]
2.6.2. Aspekte beim Test mit Userfragen
Auch auf die Testaspekte im Zusammenhang mit den Userfragebögen soll kurz eingegangen
werden. Hilfsmittel sind nicht in großem Maße notwendig – lediglich eine in der
Bewertungsdatei verfügbare Zusammenfassung aller Userfragen sollte ausgedruckt
vorliegen. So lassen sich Bewertungen schnell erfassen und können später akribisch
übertragen werden.
Die Einflussgrößen auf eine Userfrage sind nicht technischer sondern rein subjektiver Natur.
Hier ist wie beim Eyetracking der Erfahrungshorizont der Testperson ausschlaggebend
sowie die persönliche Erwartungshaltung des Users an ein IT-System generell. Die
Usabilitybewertung von Telematiksystemen Seite 39 Maximilian Köppel / Heinz-Leo Dudek
individuelle Ausstattung mit Hardware und Internetverbindung beeinflusst bspw. die
Wahrnehmung der Systemantwortzeit. Analog zum vorherigen Abschnitt kann hier auf die
Einstufung des Probanden in einer Skala zurückgegriffen werden.
Tabelle 2: Störgrößen bei Userfragen (Quelle: eigene Darstellung)
Störgrößen Gegenmaßnahmen
Erfahrungshorizont der
Testpersonen
Einstufung auf Skala [1,…5]
Qualitative Ergänzung der
Messungen
Erwartungshaltung durch z.B.
private
Hardware/Internetverbindung
Abfragen des privaten
Nutzungsumfeldes und
Einstufung der Erwartungen auf
Skala [1,…5]
2.6.3. Aspekte beim Test mit Kriterienkatalog
Der Test mit einem Kriterienkatalog wird bspw. im Kriterium „Fehlerrobustheit“ von einem
Experten durchgeführt. Es muss also zum Testzeitpunkt ein qualifizierter Experte zur
Verfügung stehen. An dieser Stelle könnte man über eine Videoaufzeichnung zur
Nachverfolgbarkeit der Bewertung nachdenken. Beim Eyetracking – sprich Test mit
Probanden – wird ohnehin ein Video aufgezeichnet, die von einem Experten bspw.
tatsächlich getätigten Fehleingaben in ein System werden aber nicht dokumentiert. Hier
könnte eine Kamera Abhilfe schaffen. Zusätzlich können über die Tonspur Kommentare
aufgezeichnet und verfügbar gehalten werden. Wie die nachfolgende Tabelle 3 noch zeigt,
ist eine wesentliche Störgröße beim Kriterienkatalog die falsche Eingabe von vorher
festgelegten Testdaten – z.B. zum Testen der Fehlerrobustheit. Auch hier kann lediglich die
Konzentration des Experten gefördert werden, indem bspw. Lärmquellen eliminiert werden.
Tabelle 3; Störgrößen beim Testen mit Kriterienkatalogen (Quelle: eigene Darstellung)
Störgrößen Gegenmaßnahmen
„Fehlerhafte Falscheingaben“:
Abweichen von der
vorgegebenen Fehleingabe
Konzentrierte Atmosphäre:
ruhiger Raum, keine
Lärmquellen, Handys
Usabilitybewertung von Telematiksystemen Seite 40 Maximilian Köppel / Heinz-Leo Dudek
2.6.4. Sonstige Hinweise
Störgrößen können auch für die Messung der Antwortzeit identifiziert werden. Da diese stark
von der übertragenen Datenmenge zwischen Server und Portal abhängt, bspw. bei der
Generierung von Reports, ist die Internetverbindung bzw. die Übertragungsgeschwindigkeit
eine wichtige Einflussgröße. Größeren Unterschieden kann entgegengewirkt werden, indem
für alle Tests die gleiche Domäne für den Netzzugang verwendet wird – hier bspw. das
Telematiklabor an der DHBW in Friedrichshafen. Auch könnte festgehalten werden, ob die
verfügbare Bandbreite durch den Vorlesungsbetrieb (viele User) beeinträchtigt sein könnte.
Auch die Rechnerleistung ist ein Einflussfaktor bei der Informationsdarstellung und somit bei
der Antwortzeit. Eine Vergleichbarkeit ist dann analog zur Übertragungsgeschwindigkeit
gewährleistet, wenn bspw. alle Tests an den Rechnern des Telematiklabors durchgeführt
werden, sprich nicht die Hardware gewechselt wird. Die beschriebenen Effekte, sind in der
nachfolgenden Tabelle 4 nochmals übersichtlich dargestellt.
Tabelle 4: Störgrößen beim Vermessen der Antwortzeit (Quelle: eigene Darstellung)
Störgrößen Gegenmaßnahmen
Internetverbindung:
Übertragungsgeschwindigkeit als
Einflussfaktor
Nutzung der gleichen Domäne
für alle Tests – Telematiklabor,
Festhalten der
Rahmenbedingungen – z.B.
Auslastung des
Laboranschlusses durch
Vorlesungsbetrieb am Campus
Rechnerleistung Durchführen der Tests an den
Laborgeräten
Abschließend kommen an dieser Stelle noch weitere Hinweise zur Durchführung der Tests.
So sollte nochmals herausgestellt werden, wie sich ein Versuchsleiter zu verhalten hat und
was bspw. beim Abspeichern der Messdaten zu beachten ist. Beginnend beim
Versuchsleiter soll nochmals festgehalten werden, dass er sich während des Tests gerade
im Zusammenhang mit qualitativen Bewertungsmethoden absolut neutral zu verhalten hat.
Das bedeutet:
Keine persönlichen Interessen
Keine Einflussnahme, neutral auch gegenüber Fehlern
Objektiv bleiben (gegenüber Proband und Testsystem)
Usabilitybewertung von Telematiksystemen Seite 41 Maximilian Köppel / Heinz-Leo Dudek
Unterstützung des Testteilnehmers als „ultima ratio“ – als letzte Möglichkeit.
Beispielsweise dann, wenn der Teilnehmer eine Aufgabe absolut nicht bewältigen
kann und aufgeben will, oder wenn ein Systemfehler auftritt. ([NAU], S. 55)
Beim Testen mit dem Blickmesssystem werden einzelne Datensätze abgespeichert. Ein
Datensatz beinhaltet die Durchführung einer Aufgabe von einem Teilnehmer. Die Benennung
der Datei muss daher eindeutig für ein System sein, da später eine Vielzahl solcher Dateien
entsteht und keine Zuordnung mehr möglich wäre. Aus diesem Grund erfolgt die Benennung
gemäß folgendem Beispiel
„T1_A05_n01_141223“
Der erste Teil bezieht sich auf den Teilnehmer 1 für das gerade getestete System. „A05“
beschreibt die in dieser Datei aufgezeichnete Aufgabe, „n01“ gibt den ersten
Versuchsdurchlauf an. Ein Datumsstempel mit dem Aufbau Jahr-Monat-Tag JJMMTT rundet
die Benennung ab.
Usabilitybewertung von Telematiksystemen Seite 42 Maximilian Köppel / Heinz-Leo Dudek
3. Testdurchführung und Ergebnisse
3.1. Beschreibung der Testumgebung und -ablauf Das nachfolgende Kapitel befasst sich mit den Rahmenbedingungen, welche den
Usabilitytests zu Grunde lagen, sowie später mit den Ergebnissen. Es wird dazu erläutert,
welche Konfigurationen der Testaufgaben zum Einsatz kamen, und anhand welcher
Rahmenbedingungen die Noten gebildet werden. Eine Ergebnisübersicht und später
detaillierte Darstellungen liefern die gesamten Testresultate.
(Hinweis: Diese Unterkapitel 3.1 und 3.2 entstammen zu großen Teilen aus [KOE2] und sind
zur Vereinfachung für den Leser hier übernommen.)
3.1.1. Testaufgaben
Im Zuge der Bearbeitung der bereits mehrfach erwähnten Studienarbeit am IWT [KOE1]
wurde eine Sammlung von Testaufgaben erstellt, die innerhalb der IWT-Methode zur
Bewertung von Telematiksystemen herangezogen werden sollen. Der mit Stand Dezember
2014 verwendete Aufgabenkatalog ist nachfolgend nochmals aufgelistet. Die Buchstaben in
Klammern geben an, ob es sich um eine administrative (A), dispositive (D) oder analytische
Tätigkeit (R) handelt ([KOE], S. 57 f). Der Katalog ist außerdem so angelegt, dass er drei
Aufgaben aus jeder Tätigkeitskategorie enthält.
A1 Anlegen eines Fahrzeuges. (A)
A2 Vergabe eines Transportauftrages. (D)
A3 Versenden einer Nachricht. (D)
A4 Auswerten der Fahrtstrecke. (R)
A5 Ortung eines Fahrzeuges. (D)
A6 Report Geschwindigkeitsverlauf. (R)
A7 Report Kraftstoffverbrauch.(R)
A8 POI anlegen. (A)
A9 Gebietsüberwachung einrichten. (A)
Bei der Vorbereitung der Verfahrensvalidation wurde dieser Katalog modifiziert und
verschlankt, um eine Zeitersparnis pro Versuchsdurchgang im Hinblick auf die Vielzahl zu
testender Systeme zu realisieren. Die nachfolgenden Begründungen und Maßnahmen
wurden hierzu umgesetzt.
Usabilitybewertung von Telematiksystemen Seite 43 Maximilian Köppel / Heinz-Leo Dudek
Die Aufgabe 3 ist in ihrer Art dem vorangehenden Szenario sehr ähnlich und wird daher nicht
weiter herangezogen. Es ist nicht davon auszugehen, dass das Versenden einer Nachricht
gegenüber dem Transportauftrag – welcher ebenfalls mit Freitext versehen werden kann –
einen nutzbaren Erkenntnisgewinn bringt. Ebenso verhält es sich mit Aufgabe 8 – Anlegen
eines sog. „Point of Interest“ (POI): Beim Eingeben der (Adress)Daten für einen
Transportauftrag können diese in den meisten Fällen direkt aus dieser laufenden Aufgabe
als POI heraus gespeichert werden. Bei den Reporting-Funktionen zum
Geschwindigkeitsverlauf und Kraftstoffverbrauch wurde ebenfalls eine Auswahl getroffen.
Der Fokus liegt zum einen aus Datenschutzgründen im Hinblick auf echte Fahrer bei einem
Zugriff auf das Portal eines realen Spediteurs – der Geschwindigkeitsverlauf würde z.T.
unangenehme Rückschlüsse auf das Fahrverhalten von Einzelpersonen zulassen – sowie
aus Gründen der weitestgehend ähnlichen Struktur der Aufgabe bei zukünftigen
Bewertungen auf dem Kraftstoffverbrauch. Er federt den direkten Rückschluss auf das
Verhalten des Mitarbeiters wirksam ab, da Verbräuche nicht nur von der Fahrweise, sondern
auch sehr stark vom Gesamtgewicht des Zuges und somit von der Ladung sowie von
weiteren Faktoren wie der Topographie oder den Fahrzeugeigenschaften
(Spureinstellungen, Luftdruck, etc.) abhängen (vgl. hierzu [LOG] und [GOD]). Für die
Bewertung von Telematik für Zugfahrzeuge wird folgender, modifizierter Katalog verwendet:
A1 Anlegen eines Fahrzeuges. (A)
A2 Vergabe eines Transportauftrages. (D)
A4 Auswerten der Fahrtstrecke. (R)
A5 Ortung eines Fahrzeuges. (D)
A7 Report Kraftstoffverbrauch.(R)
A9 Gebietsüberwachung einrichten. (A)
Auch hier ist zu bemerken, dass die Verteilung auf die drei wesentlichen Arten von
Tätigkeiten des Disponenten unverändert zum Original bestehen bleibt. Jeweils eine
administrative, eine dispositive und eine Tätigkeit aus dem Reporting wurden gestrichen.
Ein größeres Problem ergibt sich, wenn Hersteller mit Systemen aus verschiedenen
Telematikdomänen antreten. Je nach Anbieter beispielsweise wird Zugfahrzeugtelematik
ebenso angeboten wie Trailertelematik oder Lösungen für einzelne Frachtcontainer. Und
auch hier offenbart sich eine Schwachstelle der bisherigen Aufgabensammlung – denn das
Versenden eines Transportauftrages an einen Trailer oder Container ist nicht in den
Systemen vorgesehen, da nicht effektiv. Ausgehend vom bestehenden Aufgabenkatalog
wurde also eine weitere Einschränkung getroffen, die möglichst alle Arten von
Flottentelematik außerhalb der Zugfahrzeuge abdecken soll – sprich Trailer, Container und
Usabilitybewertung von Telematiksystemen Seite 44 Maximilian Köppel / Heinz-Leo Dudek
Wechselbrücken. Ein kleinster gemeinsamer Nenner an möglichen Aufgaben hat sich durch
die Anwendung an insgesamt 6 Testsystemen wie folgt ergeben:
A1 Anlegen eines Fahrzeuges. (A)
A4 Auswerten der Fahrtstrecke. (R)
A5 Ortung eines Fahrzeuges. (D)
A9 Gebietsüberwachung einrichten. (A)
Der Schwerpunkt dieses Aufgabenraumes liegt auf der Administration. Dies ist insofern
gerechtfertigt, als dass die Disposition der mit diesen Systemen ausgerüsteten Einheiten
vom Zugfahrzeug selbst übernommen wird. Vorrangig steht bei diesen Einheiten die
Verwaltung und das Reporting bzw. die Dokumentation im Vordergrund (Einhalten von
Fahrtrouten, Vermeiden von Sperrzonen, ggf. je nach Ladung).
3.1.2. Notenbildung
Die Notenbildung erfolgt grundsätzlich über mehrere Gewichtungen und Einzelnoten. Eine
detaillierte Übersicht möglicher Gewichtungen ist in der Ausarbeitung zur Erhebung der
Bewertungsmethode einsehbar (vgl. hierzu [KOE1], S. 85 f). Im Wesentlichen gibt es pro
Usability-Kriterium die Möglichkeit, einzelne Evaluationsmethoden (Bsp.: Userfrage-
Eyetracking-Kriterienkatalog) unterschiedlich zueinander zu gewichten. Eine Übersicht über
die gewählten Settings zeigt die Abbildung 37.
Speziell beim Eyetracking können einzelne Metriken entsprechend ihrer Aussagekraft
zueinander gewichtet werden. Eine Übersicht dieser Gewichtung zeigt die Abbildung 38.
Verwendung finden in der aktuellen Methode die vom linken und rechten Auge gemittelte
Anzahl der Sakkaden pro Sekunde (NOS/sec) sowie horizontale und vertikale Suchaktivität
(HEA und VEA).
Auch der Einfluss einzelner Testaufgaben zueinander kann reguliert werden. Letztlich
besteht noch die Möglichkeit, die einzelnen Usability-Kriterien zueinander zu gewichten.
Bspw. könnte so der Erlernbarkeit oder der Übersichtlichkeit eine höhere Bedeutung
zukommen. In der Anwendung bei der Validation der Methode an verschiedenen
Telematiksystemen im Labor wurden das nachfolgend geschilderte Vorgehen bzw. die
dargelegten Gewichtungen gewählt.
Für die OEM, Nachrüst. Leichte NFZ sowie Trailer und Container wurde der „Default-Ansatz“
mit den Werten aus der Erhebungsphase gewählt – siehe hierzu Abbildung 39. Dies liegt
darin begründet, dass die Kategorien OEM-Telematik, Nachrüst-Telematik und Telematik für
Usabilitybewertung von Telematiksystemen Seite 45 Maximilian Köppel / Heinz-Leo Dudek
leichte Nutzfahrzeuge sehr eng verwandt sind. Auch beim Thema Trailer sowie
Container/Wechselbrücken bestehen Ähnlichkeiten im Einsatzbereich, sodass dieselbe
Ausgangsgewichtung analog herangezogen wird.
Abbildung 37: Gewichtung der einzelnen Evaluationsmethoden innerhalb der Usability-Kriterien (Quelle: Eigene
Darstellung)
Abbildung 38: Gewichtung der Metriken innerhalb des Eyetrackings (Quelle: Eigene Darstellung)
Usabilitybewertung von Telematiksystemen Seite 46 Maximilian Köppel / Heinz-Leo Dudek
Abbildung 39: Gewichtung der Usability-Kriterien zueinander für OEM-/Nachrüsttelematik sowie für
Trailer/Container und leichte Nutzfahrzeuge (Quelle: Eigene Darstellung)
Die Kategorie Telematik für Sonderfahrzeuge hebt sich von den anderen ab (eine
Werteübersicht liefert Abbildung 40. Der Einsatzbereich ist in der Regel anders strukturiert,
als im „klassischen“ Flottenbereich. Aus diesem Grunde wurde die Gewichtung angepasst.
Schon im Titel der Kategorie steckt der „besondere“ Anwendungsfall dieser Systeme, daher
kommt der Aufgabenangemessenheit eine weit erhöhte Bedeutung zu. Trotz zahlreicher
spezifischer Funktionalitäten soll die Übersichtlichkeit der Systeme hoch bleiben, daher steigt
auch der Einfluss dieser Größe leicht. Die Reduzierung der Selbstbeschreibungsfähigkeit
und der Steuerbarkeit kommt daher, dass im Bereich der Telematik für Sonderfahrzeuge mit
einer geringeren Fluktuation der Disponenten zu rechnen ist, als in anderen Domänen. Es
baut sich tiefgehendes Expertenwissen mit dem System und seiner Anwendung auf.
Kompensiert werden diese Reduzierungen durch eine höhere Bewertung der Erlernbarkeit –
ein neuer Mitarbeiter soll zwar aktiv, aber eben doch schnell eingelernt werden können, um
produktiv zu arbeiten. Die Gewichtung der Fehlerrobustheit kann ebenfalls leicht reduziert
werden – ein Disponent im Sonderverkehr arbeitet auf lange Sicht länger mit dem System,
sammelt mehr Erfahrung und wird voraussichtlich eine geringere Fehlerquote aufweisen.
Abbildung 40: Gewichtung der Usability-Kriterien zueinander für Telematiksysteme für Sonderfahrzeuge (Quelle:
Eigene Darstellung)
Usabilitybewertung von Telematiksystemen Seite 47 Maximilian Köppel / Heinz-Leo Dudek
3.1.3. Testablauf
In der Laborumgebung am Campus der DHBW in Friedrichshafen, welche als Testort
ausgewählt wurde, wurden die in den vorhergehenden Abschnitten beschriebenen
Testmethoden an den für den Deutschen Telematik Preis 2016 nominierten Systemen
angewendet. Die Usability-Bewertung wurde dabei von einem Studienleiter geplant und
überwacht. Dieser war auch für die lauffähige Bereitstellung der Teststellungen zuständig.
Diese Anlaufphase des Usability-Tests lag im Frühjahr 2015 in der Zeit zwischen Mitte April
und Ende Mai. Hierzu wurde eine Beistellliste an die Nominierten versandt, mit der Bitte um
Bereitstellung von Demo-Geräten, Portalzugängen und Datenzugriffen für die Usability-
Tests. In der Beistellung waren zwei Portalzugriffe gefordert. Erstens ein Demo-Portal, in
welchem mindestens das an das IWT gelieferte Demo-Gerät (Hardware bzw. OBU)
eingebucht ist. Ziel hierbei war es, ohne Auswirkungen auf reale Flotten dispositive und
administrative Tätigkeiten aus Sicht des Endanwenders durchzuführen. Zweitens wurde der
Zugriff auf einen Account mit einer real auf den Straßen bewegten Fahrzeugflotte zur
datenseitig realitätsnahen Begutachtung der Reporting-Funktionen gefordert. Hierzu konnten
meist Kundenportale mit eingeschränkten Rechten zugänglich gemacht werden. Manche
Systemanbieter verfügen über eine große Flotte an realen Testfahrzeugen, auch derartige
Fahrzeuglandschaften wurden als Datenquellen zugelassen. Eine Übersicht der
zugelassenen Zugangssituationen zeigt die nachfolgende Grafik.
Abbildung 41: Zugelassene Testanordnungen der Systemlandschaft (Quelle: Eigene Darstellunge)
Usabilitybewertung von Telematiksystemen Seite 48 Maximilian Köppel / Heinz-Leo Dudek
Die tatsächliche Durchführung der Tests mit Probanden im Zeitraum bis Ende Juni 2015 lag
dann in den Händen eines Testteams. Die Mitarbeiter hier waren verantwortlich für die
Aufzeichnungen der Tests, das Nachbearbeiten für hohe Erfassungsgenauigkeiten sowie
den Export der Daten aus der Blickmessung in besser zu verarbeitende Formate. Der
Testablauf für jedes System gestaltet sich wie nachfolgend beschrieben. Ein Pretest durch
das Team im Vorfeld des Termins mit den Probanden zeigt die grundlegende
Durchführbarkeit mit den zur Verfügung stehenden Testaufgaben, Szenarien und
Hilfsmitteln. Hier können ggf. noch Adaptionen im Aufgabenkatalog vorgenommen werden,
wenn die systemspezifischen Funktionalitäten dies erfordern.
Weiterhin wird jedes System von drei Probanden getestet. Die Abläufe orientieren sich dabei
an den Testpersonen und nicht am vollständigen Test eines Systems. Demzufolge sieht ein
halber Testtag so aus, dass der Proband im Labor drei Teststellungen in einer Abfolge testet.
Ein weiterer Proband nutzt den übrigen halben Testtag und arbeitet ggf. mit exakt derselben
Systemabfolge. Ein dritter Proband testet die Abfolge in einem dritten Test. Mit dieser
Methode können an drei halben Tagen drei Systeme von drei Personen getestet werden,
ohne für den Probanden Nachteile durch mehrmaliges Erscheinen zu Testläufen zu
schaffen. Grundsätzlich ist im Hinblick auf die mögliche Verzerrung der ebenfalls erhobenen,
qualitativen Einschätzungen der Probanden ein einzelner Testblock anzustreben. Systeme
bleiben in einer Relation zueinander und es entstehen keine negativen Beeinflussungen
durch ein neuerliches Erscheinen zum Test.
Im Detail gestaltet sich ein einzelner Testablauf für ein System mit einem Probanden
folgendermaßen. Für ein Fahrzeugtelematiksystem werden sechs Aufgaben aus einem
Katalog herangezogen, Trailer- und Container-Systeme werden mit vier Aufgaben getestet,
was der meist weniger umfangreichen Funktionalität geschuldet ist. Diese Auswahl wird vom
jeweiligen Probanden dreimal hintereinander abgearbeitet. Dadurch wird jedes System pro
Proband mit drei Durchläufen getestet, wodurch sich Lerneffekte zwischen den
Aufgabenreihen – verdeckt enthalten bei den Eyetracking-Messwerten – erst berechnen
lassen.
Insgesamt wurden für den Usabilitytest 18 Systeme nach Berücksichtigung der Beistellliste
zugelassen. Diese Anzahl reduziert sich aber durch Mehrfachnominierungen einzelner
Hersteller in mehreren Kategorien. Die Lösungen von Couplink und GPSoverIP etwa treten
bei der Nachrüst-Telematik ebenso an, wie bei der Telematik für leichte Nutzfahrzeuge und
den Sonderfahrzeugen. Die Portallösungen sind identisch und werden daher nur einmal
getestet, ggf. werden je Kategorie andere Gewichtungen der Kriterien zueinander aufgrund
anderweitiger Einsatzanforderungen verwendet. Auch beim Hersteller Krone, der für
Trailertelematik und Wechselbrücken nominiert wurde, kommt nur ein Portal auf
Usabilitybewertung von Telematiksystemen Seite 49 Maximilian Köppel / Heinz-Leo Dudek
verschiedene Endgeräte zum Einsatz. Ähnlich ist die Situation nochmals bei Couplink – der
Hersteller ist auch bei den Containern nominiert. Im Endergebnis stehen 12
Telematiklösungen zum Test bereit, deren Ergebnisse dann wie beschrieben mit ggf.
anderen Gewichtungen oder anderen Mitbewerbern um den Telematikpreis in einer
Kategorie konkurrieren.
Usabilitybewertung von Telematiksystemen Seite 50 Maximilian Köppel / Heinz-Leo Dudek
3.2. Ergebnisübersicht Bevor die Ergebnisse vorgestellt werden, soll an dieser Stelle zunächst ein Blick auf die
Streuung der Ergebnisse auf der Notenskala gerichtet werden. Die zentrale Fragestellung
hierbei ist, ob die Ergebnisse die gesamte Bandbreite der Skala ausnutzen. Nachfolgende
Grafik (Abb. 42) zeigt daher die Wertebereiche der Benotungen für jedes getestete System
samt zugehörigem Median zur Verortung der mehrheitlichen Lage der Werte. Hier zeigt sich,
dass die geringste Streuung bei der Teststellung von MMLab zu finden ist (schlechteste Note
4,0 und beste Bewertung 2,6). Dies ist ein Indikator dafür, dass die angewandten Metriken
zumindest nicht pauschal als zu hart gelten müssen – immerhin ist die Note 4,0 mit dem
Prädikat „ausreichend“ noch nicht im ungenügenden Teil der Notenskala. Bei den anderen
Systemen zeigt sich allerdings mehrheitlich, dass die schlechtesten Bewertungen deutlich
unter 4,0 bis hin zu 5,0 reichen. Kein Testsystem erreicht mit der schlechtesten Teilnote den Bereich besser als 4,0. Eine Erklärung für den Unterschied könnte sein, dass die Teststellung von MMLab als einzige auf eine lokal installierte Softwarelösung baut (Laptop
mit Mobildatenverbindung) und somit deutlich mehr Einstellungsmöglichkeiten und
Funktionalitäten verfügbar sind, als dies in der webbasierten Lösung möglich ist.
Auf der anderen Seite zeigt die Darstellung, dass eine Vielzahl an Systemen in einzelnen Kategorien sehr gut abschneidet und Teilnoten bis hin zu den Werten 1,1 und 1,2 erreicht. Insgesamt liegen die Bestnoten von 10 von 14 Teststellungen besser als 2,0. Der Median der Notenwerte liegt über alle Teststellungen betrachtet mit leichten
Schwankungen rund um den Notenwert 3,0. Lediglich die Systeme von Agheera und
TomTom (beide Sieger in ihrer Kategorie) markieren hier die Ausreißer.