Dipl. Inform. Marc Turnwald Informations- und Technikmanagement Institut für Arbeitswissenschaft, Ruhr-Universität Bochum Vorlesung

Dipl. Inform. Marc TurnwaldInformations- und TechnikmanagementInstitut für Arbeitswissenschaft, Ruhr-Universität Bochumwww.imtm-iaw.rub.de

Vorlesung Hard- und Software-Ergonomie, WS 2010/2011 1

Hard- und Software-Ergonomie

5. Direkte Manipulation und Virtual Reality


Direkte Manipulation und Virtual Reality

5.1 Direkte Manipulation

5.2 Virtual Reality

5.3 3D-Widgets

5.4 Augmented Reality

5


Direkte Manipulation

… ist eine Form der Mensch-Computer Interaktion, bei der der Benutzer graphisch visualisierte Objekte mit einem Zeigegerät (z.B. einer Maus) am Bildschirm bewegen, verändern oder in eine bestimmte Relation setzen kann.

… beruht auf dem Prinzip, dass die Objekte mit denen in einer Anwendung gearbeitet wird, auf dem Bildschirm sichtbar sind, dass direkt auf sie gezeigt oder zugegriffen werden kann.

- Voraussetzung für die Verwendung von direkter Manipulation ist die Verfügbarkeit eines Zeigeinstruments zur Anwahl von Objekten.

5.1

B. Shneiderman, 82: The Future of Interactive Systems and the Emergence of Direct Manipulation.B.Shneiderman. 83: Direct Manipulation: A Step beyond Programming Languages.



Desktop- Metapher: (um ca. 1970; Alan Kay at Xerox PARC)

5.1

„The best way to predict the future is to invent it.“



1983: Erstes auf dem Markt verfügbares desktop-ähnliches Interface

5.1



1984: Apple Macintosh

5.1


Direkte ManipulationKennzeichnende Prinzipien

• permanente Sichtbarkeit der für die Aufgabe relevanten Objekte

• Direktes Feedback zu den Eingabeaktionen (Sichtbarkeit des Pointers oder der Werkzeuge)

• schnelle, umkehrbare, einstufige Benutzeraktionen

• hohe Interaktivität - Ersetzung komplexer Kommandos durch physische Aktionen

• Veränderungen werden sofort sichtbar

5.1


Direktes Feedback

• Veränderung der Darstellung von Objekten

• Vermittlung von Bewegung

• Kontinuierliche Bewegungsdarstellung

• Vorschau (Jef Raskin: Indication)

• Kennzeichnung selektierter Flächen

• Darstellung neuer Informationen

5.1


Manipulation von Objekten

• Graphische Objekt Darstellung: Die zu bearbeitenden Daten werden als graphische Objekte repräsentiert incl. der jeweils möglichen Operationen

• Eingabe als Manipulation von Objekten

• Referenzen zwischen Objekten werden durch Zeigeoperationen hergestellt

WYSIWYG: What you see is what you get.

5.1


Was bedeutet Direktheit

• semantischer Bezug • Assoziation von Wirklichkeit• Einfache physische Aktion

Nicht nur die Ikonizität der Ausgabe, sondern auch der Eingabehandlungen nimmt zu Die Eingaben erfordern Bewegungen, die den erwünschten Veränderungen ähneln.

Direktheit ist ein Eindruck oder ein Gefühl, das aus der verringerten Bindung kognitiver Ressourcen resultiert.

Die Kluft zwischen Aktionen mit dem System und Zielerreichung wird verringert – Umwege vermieden.

6.1


Selektionsreihenfolge: Objekt vs. Funktion

Vorteile von Funktion Objekt (FO):

• OF kann nicht immer realisiert werden, insbesondere beim Erzeugen neuer Objekte

• FO erleichtert die Manipulation mehrerer Objekte (z.B. Vertauschen, Einfärben)

• FO ermöglicht die Unterstützung bei der Selektion der Objekte

Vorteile von Objekt Funktion (OF):

• FO kann sehr komplex sein, da Objektselektion von F abhängen kann

• FO ist fehleranfälliger bei Fehlselektion eines Objektes

• Die vollzogene Objektselektion kann helfen das Funktionsangebot einzuschränken

5.1


Interaktionsparadigmen: OF vs. FO

Unterscheidung zwischen Aktionen zur Vorbereitung eines Arbeitsschrittes (z.B. Selektion, Toolauswahl) und Aktionen, die den Arbeitsgegenstand tatsächlich verändern (Funktion auf Auswahl anwenden, Tool auf getroffenes Objekt anwenden) Erzeugen einen Undo Schritt.

I.d.R.: Objektauswahl fehleranfälliger als ToolauswahlBesonders relevant bei Touchinteraktionen

Falls verschiedene Paradigmen angeboten werden sollten diese zum restlichen Interaktionskonzept passen.

Beispiel : Text einfärben in MS Word. Undo Mechanismus funktioniert nicht wie erwartet.

Gewähltes Paradigma hat unmittelbaren Einfluss auf die Anzahl der Schritte einer Aktion (Clicks) Einfluss auf Effizenz

5.1


Nachteile von Direkter Manipulation

• Wiederholung von gleichförmigen Aktionen, komplexere, zusammengefasste Aktionen sind nur schwer realisierbar

• Es wird z.T. zu hohe Genauigkeit verlangt

• Problem, wenn „weit von einander entfernte“ Objekte manipuliert oder sogar verbunden werden

• Die Bedeutung der visuellen Darstellung muss erlernt werden

• Für erfahrene Typisten zu langsam

5.1


Vergleich von Steuerungsmöglichkeiten

Filename Number Size Date

Filename Number Size DateRadio button

1 2 3 4FNSD

One Entry Area

F, N, S, D

4 Entry Areas 1. Position: 2. Position: 3. Position: 4. Position:

4.5


Vergleich - Ergebnisse

Preference

Speed

• Direct Manipulation. O O

• Selection.

– Icons.

– Radio Buttons. ++ ++

– Menus (Drop-down list boxes). ++

• Entry

– One entry area. ++ ++

– Four entry areas.

4.5


Anwendungsbereich von DM

ursprüngliche Entwicklung mit Hinblick auf geometrische Daten und 2-dimensionale Darstellung von Daten

• Tabellenkalkulation• Browser• Videospiele, CAD-Systeme• Haustechnik regulieren

Danach auch für 2,5D und 3D Objekte und Welten relevant

• Spiele• Medizin• Flugsimulatoren, Architektur

5.1


Zeitschaltuhr für Videorecorder

Shneiderman, S. 260

6.1


Zeitschaltuhr für Videorecorder

Shneiderman, S. 260

6.1


On Screen Scheduling VCR

Shneiderman, S. 260

6.1


Virtual Reality

Haupteinsatzbereich: Simulation zum/zur• Training• Erprobung• Unterhaltung

• auch Nebenzweck: Medizinische Therapie


Interaktion mit Virtuellen Räumen

Shneiderman, S. 272

5.2


Tiefeneindruck zwecks Therapie 5.2

Shneiderman, S. 270


Second Life

• Second Life (abbreviated as SL) is a Game developed by Linden Lab that launched on June 23, 2003 and is accessible via the Internet. A free client program called the Second Life Viewer enables its users, called Residents, to interact with each other through avatars. Residents can explore, meet other residents, socialize, participate in individual and group activities, and create and trade virtual property and services with one another, or travel throughout the world, which residents refer to as the grid. Second Life caters for users aged over eighteen, while its sister site Teen Second Life is restricted to users aged between thirteen and eighteen.

• http://www.youtube.com/watch?v=b72CvvMuD6Q&NR=1• http://www.youtube.com/watch?v=kEdZ7uXerVg

5.2


Immersion („Versenkung“)

• Immersion is the state of consciousness where an immersant's awareness of physical self is diminished or lost by being surrounded in an engrossing total environment; often artificial.[1] This state is frequently accompanied by spatial excess, intense focus, a distorted sense of time, and effortless action.[2]

5.2


Arten der „Immersion“• Tactical immersion is experienced when performing tactile operations

that involve skill. Players feel "in the zone" while perfecting actions that result in success.

• Strategic immersion is more cerebral, and is associated with mental challenge. Chess players experience strategic immersion when choosing a correct solution among a broad array of possibilities.

• Narrative immersion occurs when players become invested in a story, and is similar to what is experienced while reading a book or watching a movie.

• Spatial immersion occurs when a player feels the simulated world is perceptually convincing. The player feels that he or she is really "there" and that a simulated world looks and feels "real".

• Psychological immersion occurs when a player confuses the game with real life.

• Sensory immersion The experience of entering into the three-dimensional environment, and being intellectually stimulated by it.

5.2


Bestandteile von VR

• 3D Präsentations- und Interaktionstechnik• Benutzer innerhalb eines dargestellten Szenarios (z.T. als

Avatar repräsentiert oder First Person View)• Visualisierung und Animation (insbesondere von

Bewegung und Veränderungen ) in Echtzeit• Manipulierbarkeit (mittels Gesten und Körperbewegung)• Räumliches Sehen, Hören und Fühlen muss ermöglicht

werden• Koordination von Seh-, Hör-, Tast- und Krafteindrücken

oder Vibrationsempfinden• Rechnerleistung:

– Festlegung von Modellen der zeigbaren Realitätsausschnitte– Aufbereitung der Modelle für die Interaktion– Simulation von Abläufen

5.2


Interaktive Aktionen in Virtuellen Räumen

• Navigieren – Positionsveränderung des Betrachters• Filtern• Kollisionserkennung und -vermeidung, vs. -ermöglichung • Markieren, Selektieren, Greifen von Objekten, Gruppieren• Positionsveränderung der Objekte• Veränderung von Eigenschaften• Definition oder Modifikation von Freiformflächen• Entfernen von Objekten• Umordnen• Vor- und Zurück in der Zeit Shneiderman, 267f

5.2


VR Interaktionssteuerung

3D Kollisions-erkennung

Tracking

Navigation

Beleuchtung / Schatten

Gesten-erkennung

Simulation

Animation

Object Handler(Objekt-Hierarchie, Vordergrund Hintergrund, verdeckte Objekte)

Kraft, Strom, Steuerung

Taktiler Renderer

Visueller Renderer

Akkustisches Rendering

5.2


Parameter bei der Erzeugung von Audio-Signalen

• Medium der Schallübertragung

• Empfänger (Typ, Position, Bewegung, Empfangscharakteristik)

• Schallquelle (Typ, Position, Bewegung, Empfangscharakteristik)

• Akustische Attribute geometrischer Objekte (Eigengeräusch, Absorption von Schall, Reflektion von Schall)

5.2


Interaktion mit Virtuellen Räumen durch Körperbewegung

Direkte Manipulation bei der Navigation in bzw. dem Inspizieren von Räumen

Eingabeaktionen sind:– Änderung der Blickrichtung, – Drehen des Kopfes,– Drehen des Körpers– Gehen – Variierung der Gehgeschwindigkeit

Bruch der Metapher:Etwas kann durch Gestik hergeholt werden

Shneiderman, S.267f

5.2


Interaktion mit Gesten - Differenzierung

• Statisch vs. Dynamisch• Vorgegebene vs. Antrainierte• Relevanz räumlicher Orientierung• Relevanz von Übergangsbewegungen• Einhand vs. Zweihandgesten

• Navigation• Picking• Grouping• Querying

(Information abrufen)

• Zooming• Grabbing• Rotating• Moving• Release• Exit

5.2


Vor- und Nachteile von Gesten

+ Gewohnheit kann beibehalten werden

+ 3D- Bezugsmöglichkeit

+ Schnelligkeit

- ggf. Trainingsaufwand („Auswendiglernen“ von Gesten)- ggf. Zwang zu unnatürlichen Gesten- Beschränkung auf die Hand

5.2


Badler et al., S. 57

Virtuelle Menschen zum Testen von Aufgabenbearbeitung

Der Akteur wird programmiert, um unter Einsatz gespeicherten Wissens Aufgaben zu bearbeiten und dabei auftretende Fehler zu melden:

• Fehlende Reichweite• Mangelende Kraft,• Sichtbarkeit• Probleme mit bewegten

Objekten• Mögliche Verletzungen

- Hitze- Strom- Säuren

5.2


Whitton, S. 44

Probleme mit VR• Zu teuer

Körperliche Beschwerden:• Unruhe• Übelkeit• Übermüdung der Augen• Orientierungsstörungen Simulator Sickness

englisch/lateinisch etwa "Übelkeit durch (Vor)täuschung") bezeichnet ein Gefühl der Übelkeit, das durch eine Täuschung oder Irritation der Sinnesorgane zustande kommt.

5.2


3D-Widgets für den Umgang mit 3D-Objekten

• 6 Handles für Rotation• 6 für Translation• 6 für Skalierung Preim, S. 441

5.3


Griffe für die Skalierung 5.3

Preim, S. 442


Schatten zur Unterstützung der Positionierung 5.3

Preim, S. 443


Positionierung einer Kameraperspektive

Durch die Punktmarkierungen kann angegeben werden, welche Punkt gut zusehen sein sollen. Entsprechend wird die Kameraperspektive justiert. Ggf. ist eine Koppelung mit Beleuchtungspunkten möglich.

5.3

Preim, S. 443


Geometrisches Manipulieren

Instrumente zur Deformation

5.3

Preim, S. 449


Geometrisches Manipulieren 5.3

Preim, S. 449


Fingerfertigkeitstest

Poston & Serra, S. 41

5.3


Schnitte durchs Herz

„Our intended users are not motivated to learn complex command sets ...“

„In abstract a mouse cursor seems far better than a finger, pointing more precisely at a point in the monitor screen.In practice, every screen has fingermarks.“

5.3

Poston & Serra, S. 42


Augmented Reality

Realität wird nicht elektronisch simuliert, sondern ergänzt (i.S.v erweitert)

Umgebung kann elektronisch Vorgänge in ihr registrieren:

• Infrarot

• Sound

• Optische Veränderung

• Bewegung Lagesensor, GPS

• Transponder

... und reagieren:

• Displays oder Projektionen aktualisieren

• Motoren aktivieren

• Daten abspeichern

• Aktoren steuern

• Steuerungswerte verändern

Shneiderman, S. 267ff

5.4


Augmented Reality – Beispiel Umgang mit Objekten

Minidisplay oder Googles gibt Information aus, in Abhängigkeit von:

• Räumlicher Nähe von physikalischen Objekten

• Von translierenden oder rotierenden Bewegungen des Benutzers

• Objekte im Fadenkreuz können selektiert und annotiert und ggf. identifiziert werden:

– Informationen zu den Objekten können ergänzt werden– Detailinformationen können abgerufen werden– Die Begegnung kann registriert werden– Nachrichten können hinterlassen werden– Sie können gesteuert werden– ...

5.4


Augmented Reality – Beispiele5.4


Augmented Reality – Head Up Displays5.4


Augmented Reality – Overlays5.4


Augmented Reality – AR Tags5.4


Augmented Reality – Infantry5.4






Augmentet Reality Medizin und Unterhaltung 5.4


Collaborative Augmented Reality Interface - Eigenschaften

Virtualität: Objekte, die nicht in Realität existieren, können gesehen und inspiziert werden

Augmentation: Reale Objekte können mit virtuellen Anmerkungen ergänzt werden; virtuelle Bilder, Eigenschaften können mit realen, manipulierbaren Objekten verbunden werden

Kooperation: Verschiedene Nutzer können sich gegenseitig sehen und in natürlicher Weise kooperieren

Independence: Einzelne Nutzer steuern unabhängig ihre eigenen Blickwinkel/ Sichtfelder

Individuality: Daten werden je nach individueller Perspektive unterschiedlich dargestellt. Billinghurst & Kato, S. 67

5.4


Collaborative Augmented Reality interface

Billinghurst & Kato, S. 66

5.4


Collaborative Augmented Reality im Vergleich

1. Face-to-face mit realen Objekten

2. Co-located AR-Kooperation mit virtuellen Objekten, die an reale, handhabbare gekoppelt sind

3. Co-located Kooperation am Projektionsschirm mit virtuellen Objekten

Unter der zweiten Bedingung verhielten sich Nutzer eher, wie bei der Face-to-Face Kooperation (bzgl. Speech und Gestik)

5.4

Billinghurst & Kato, S. 68


Literatur

• Badler, Norman I.; Erignac, Charles A.; Liu, Ying (2002): Virtual Humans for validating Maintenance Procedures. In: Communications of the ACM, Vol. 46, No 7. S. 56-63.

• Billinghurst, Mark; Kato, Hirokazu (2003): Collaborative Augmented Reality. Communications of the ACM, Vol. 45, No. 7. S. 64-70.

• Deering, Michael F. (1996): The Holosketch - VR Sketching System. In: Communications of the ACM, Vol. 39, No. 5.

• Oviatt, Sharon (2002): Multimodal Interfaces. In: Jacko, Julie A.; Sears, Andrew (Eds.) (2002): The Human-Computer Interaction Handbook. Mahwah, New Jersey: LEA. S. 286-304.

• Poston, Timothy; Serra, Luis (2003): Dextrous Virtual Work. In: Communications of the ACM, Vol. 39, No. 5. S. 37-45.

• Preim, Bernhard (1999): Entwicklung interaktiver Systeme. Heidelberg, Springer.

• Shneiderman, Ben (2002): User Interface Design- deutsche Ausgabe. MITP.

• Whitton, Mary C. (2003): Making Virtual Environments Compelling. In: Communications of the ACM, Vol. 46, No 7. S. 40-46.

5

Documents

Dipl. Inform. Marc Turnwald Informations- und Technikmanagement Institut für Arbeitswissenschaft, Ruhr-Universität Bochum Vorlesung