Head-Worn Displays – Mehr sehen durch die Datenbrille

Ingrid Jaquemotte

05.11.14

Technik und Anwendung

2

• Einführung

• Technik

• Beispiele

• Trackingmethoden

• Projekte der Jade-Hochschule

• Ausblick

Head-Worn Displays –

Mehr sehen durch die Datenbrille ?

Inhalt

Einführung 3

Head Mounted Display – vor 50 Jahren

Erstes funktionsfähiges HMD wird

1968 entwickelt von Ivan Sutherland

an der Harvard University

/Sutherland, 1968/

Head Mounted Display = auf dem Kopf montierte Anzeige

Einführung 4

Head Worn Display - heute

die digitale Brille

als neue Generation

mobiler Endgeräte

mit

• immer kleineren und

leistungsfähigeren

Sensoren

• vielen Funktionen aus dem

Bereich der Smartphones

/Google Glass 1/

Einführung 5

Augmented

Reality

Virtual Reality Bilder und

Videos

Head Worn Displays (HWD) - Begriffsklärung

Einführung 6

Virtual Reality (Virtuelle Realität)

• Virtuelle Realität (VR) ist die Wiedergabe einer interaktiven, in Echtzeit

generierten virtuellen Umgebung

• Immersion ist das Eintauchen in eine virtuelle Welt, der Betrachter

nimmt weniger die reale Welt wahr, sondern fühlt sich als Teil einer

virtuellen Welt

• Verwendete Hardware, z.B.

– HWD

– Cave

• Darstellungsmethode

– häufig stereoskopisch

• Interaktion

– 3D-Maus, Datenhandschuh

– Gesten

Einführung 7

Augmented Reality - Definitionen

Ein AR-System hat die folgenden charakteristischen Merkmale:

• es kombiniert die reale Welt mit einer virtuellen Welt

• es ist interaktiv und reagiert in Echtzeit

• es ist 3-dimensional

/Azuma, 1997/

Reale Welt Virtuelle Welt

Gemischte Realität Mixed Reality (MR)

Erweiterte Realität Erweiterte Virtualität

Real Environment Augmented Reality (AR) Augmented Virtuality (AV) Virtual

Environment

(VR)

/RV Continuum nach Milgram, 1994/

Technik 8

HWD-Techniken

Closed

• Die reale Welt ist nicht sichtbar

• Virtuelle Szenen werden ohne optischen Bezug zur Realität erzeugt

• Bewegungen des Betrachters können berücksichtigt werden

Head

Tracker Video Szenen-

generator

Bild

Technik 9

HWD-Techniken

Video See Through

• Die reale Umgebung wird über eine oder zwei Kameras aufgenommen

• Position und Blickrichtung des Betrachters werden erfasst

• Eine Ansicht eines virtuellen Objektes wird in Abhängigkeit davon generiert

• Diese Ansicht wird mit dem Video kombiniert

nach /Azuma 1997/

Video der

realen Welt

Kombination von

Video und

virtueller Szene

Head

Tracker Position und Blickrichtung

Videokameras

Reale Welt

Ergänztes Video

Bild Anzeige

Szenen-

generator

Technik 10

HWD-Techniken

Optical See Through

• Die reale Umgebung wird durch eine transparente Anzeige betrachtet

• Position und Blickrichtung des Betrachters werden erfasst

• Eine Ansicht eines virtuellen Objektes wird in Abhängigkeit davon generiert

• Diese Ansicht wird auf die halbtransparente Anzeigefläche projiziert

Szenen-

generator Head

Tracker

Position und Blickrichtung Bild

Reale Welt

Optische Erweiterung der Realität

nach /Azuma 1997/

Beispiele 11

Smart Glasses – Beispiel

Google Glass

= Smartphone in neuer Form

Funktionen

• Fotos und Videos aufnehmen

• Navigation

• Nachrichten schreiben/sprechen

Interaktion

• Touch Interface

• Spracheingabe

• Gesten

Voraussetzung: Verbindung mit einem Smartphone

Vorteil: Die Hände sind frei

/Google Glass 1/

Beispiele 12

/Google Glass, MovGP0/

Video

Smart Glasses – Beispiel

Google Glass

/Google Glass Video/

Beispiele 13

VR-Brille – Beispiel

Oculus Rift

/Wikipedia, Oculus Rift/

/Wikipedia, Oculus Rift, Front/

/Wikipedia, Oculus Rift, Back/

Beispiele 14

VR-Brille – Beispiel

Oculus Rift

Funktionen

• Nahezu verzögerungsfreies Tracking des Kopfes durch eine

intertiale Messeinheit

• Stereoskopische Wiedergabe und großer Blickwinkel (ca. 100°)

sehr guter 3D-Eindruck

• Leicht und bequem tragbar

Anwendungen

• 3D-Spiele

• VR-Anwendungen mit hoher Immersion

Die Umgebung nicht visuell wahrnehmbar

Beispiele 15

Video See Through – Beispiel

VUZIX Wrap 1200DXAR

Ausstattung

• Stereo-Kamera zur Aufnahme der

Realität

• Tracking des Kopfes über eine

intertiale Messeinheit

• Stereo-Anzeige

Allgemeine Eigenschaften eines VST:

• Videobild und Ansicht des virtuellen Modells aus dem Szenengenerator müssen

synchronisiert werden

• sowohl Videobild als auch VR-Bild sind in ihrer Auflösung begrenzt

• Der Offset zwischen Kamera und Augenposition wirkt sich auf die Anzeige aus

/Photo: Peter Meyer, Jade Hochschule Oldenburg/

Beispiele 16

Optical See Through – Beispiel

Entwicklung des Fraunhofer COMEDD (2012)

Allgemeine Eigenschaften eines OST:

• nur das virtuelle Modell muss angezeigt werden, die Realität wird direkt und ohne

Einschränkung der Auflösung gesehen

• die absolute Position eines virtuellen Objektes im Realraum kann nicht nachjustiert

werden

/Fraunhofer: Forschung kompakt 11/2012 /

Prinzip

• OLED-Display

zur Bildanzeige (stereo)

• integrierte Photodioden als

„Kamera“

Augenbewegungen werden

erfasst und zur Interaktion

verwendet

Beispiele 17

Einordnung der vorgestellten Beispiele

Video See

Through

(VST)

Optical See

Through

(OST)

monokular

binokular

Closed

Beispiele 18

Head-Up Display

Informationen werden in die Frontscheibe projiziert,

z.B. Infos zur

• eigenen Position

• Navigation

• aktuellen

Geschwindigkeit

• erlaubten

Geschwindigkeit

• …

Bild aus: http://www.media-schmid.de/downloads/projektionstechniken.pdf/

Tracking 19

Trackingmethoden

nach /Bostanci et al., 2010/

im Freien

in Gebäuden

SLAM

Vision-based

markerbasiert

modellbasiert

Beschleunigungssensoren Neigungssensoren

Inertiale Messeinheit

GNSS

Fusion

Tracking 20

• Der Marker wird im Kamerabild erkannt

• Aus der perspektivischen Verzerrung wird die Position der Kamera im

Marker-Koordinatensystem

ermittelt

AR mit Vision-basiertem Tracking

/Foto: Tobias Theuerkauff, Jade Hochschule Oldenburg/

markerbasiert

• Virtuelle Objekte werden

an den Markern

ausgerichtet

• auch 3D-Marker können

eingesetzt werden

Tracking 21

• Das Videobild wird mit einem Referenzmodell abgeglichen

• Die Kameraposition wird in Bezug auf das Modell ermittelt

Vision-basiertes Tracking

Modellbasiert

SLAM

• Aus mehreren Bildern aus unterschiedlichen Perspektiven werden 3D-Punkte

ermittelt

• Aus den 3D-Punkte werden Oberflächen gebildet

In einer unbekannten Umgebung können Oberflächen erkannt und bei der

Bearbeitung virtueller Objekte berücksichtigt werden.

Studentische Projekte 22

Studentische Projekte:

AR mit markerbasiertem Tracking

Mobile Anwendung von AR im Building Information Modelling

/Masterprojekt Glenewinkel, Brühl, WS 12/13/

• bisher: Tablet-Anwendung

• künftig: AR-Brille?

Anzeige von

nicht sichtbaren Installationen wie Strom-

und Wasserleitungen, Konstruktion, …

Studentische Projekte 23

AR-Brille und Gestensteuerung

• Markerbasiertes Tracking

• Interaktion über Gestensteuerung

• AR-Brille VST

/Masterarbeit Radischat 2013/

Betreuung: M.Weisensee

Studentische Projekte 24

Augmented Reality mit HMD

Ziel:

Präzises Positionierung

virtueller Objekte

im Realraum

Studentische Projekte 25

Head Mounted Display und optisches Tracking

• Position und Blickrichtung des Betrachters werden in Echtzeit getrackt

• Die Anzeige der virtuellen Szene wird an die Bewegung des Betrachters

angepasst

/Fotos: Peter Meyer, Jade Hochschule Oldenburg/

/Masterprojekt Benke, Riegel, WS 13/14/

• präzises optisches Trackingsystem (Stereokamera)

• HMD mit 3D-Lokator

Technik

Betreuung:

Th. Luhmann,

I. Jaquemotte

Funktionen des Systems

Prototyp

Studentische Projekte 26

Head Mounted Display und optisches Tracking

Folgeprojekt

/Photo: Peter Meyer, Jade Hochschule Oldenburg/

/Masterprojekt Herbord, Szeliga, Tolzin WS 14/15/

Aufgaben

• Genauigkeitsuntersuchung

• Kalibrierung

Fazit 27

Fazit

Getrieben durch die Entwicklung mobiler Endgeräte:

• Anzeigegeräte, Sensoren und Recheneinheiten werden immer kleiner

und technisch ausgereifter

• Methoden des Tracking und der Echtzeit-Objektrekonstruktion werden

immer leistungsfähiger und zunehmend echtzeitfähig

• Durch neue Interaktionsmethoden wird die Gebrauchstauglichkeit

laufend verbessert

Noch ist die Gebrauchstauglichkeit

von Google Glass und Co. eingeschränkt

Professionelle Anwendungen

mit Head-Worn Displays werden kommen!

Ausblick

28

Künftig: Visualisierung von Planungsvarianten

mit HWD?

Beispiel: Planung von Windenergieanlagen

29

Head-Worn Displays –

Mehr sehen durch die Datenbrille ?

Quellen

30

Quellenangaben

/Google Glass, MovGP0/ „Google Glass“ von — MovGP0 - selbst erstellt mit Inkscape. Über Wikipedia -

http://de.wikipedia.org/wiki/Datei:Google_Glass.svg#mediaviewer/File:Google_Glass.svg

/Azuma, 1997/ Azuma, Ronald T. (1997): A Survey of Augmented Reality. In: Presence: Teleoperators and Virtual Environments 6

(4), S. 355–385. Online verfügbar unter http://www.cs.unc.edu/~azuma/ARpresence.pdf, zuletzt geprüft am 31.10.14.

/Bostanci et al., 2010/ Bostanci, Erkan; Kanwal, Nadia; Ehsan, Shoaib; Clark, Adrian F. (2013): User Tracking Methods for

Augmented Reality. In: International Journal of Computer Theory and Engineering 5 (1), S. 93–98, zuletzt geprüft am 31.10.14.

/Google Glass 1/ "Google Glass detail" by Antonio Zugaldia - http://www.flickr.com/photos/azugaldia/7457645618. Licensed under

Creative Commons Attribution 3.0 via Wikimedia Commons -

http://commons.wikimedia.org/wiki/File:Google_Glass_detail.jpg#mediaviewer/File:Google_Glass_detail.jpg

/Google Glass Video/ http://www.youtube.com/watch?v=F_DsUl_vqvo&feature=player_detailpage

/RV Continuum nach Milgram, 1994/ Milgram, Paul; Takemura, Haruo; Utsumi, Akira; Kishino, Fumio (1994): Augmented Reality: A

Class Of Displays on The Reality-Virtuality-Continuum. In: SPIE Vol. 2351, Telemanipulator and Telepresence Technologies,

1994, Bd. 2351. Online verfügbar unter http://etclab.mie.utoronto.ca/people/paul_dir/SPIE94/SPIE94.full.html, zuletzt geprüft am

31.10.14.

/Sutherland, 1968/ Sutherland, I.E : A Head -Mounted Three-Dimensional Display, AFIPS Conference Proceedings, Vol. 33, Part I,

1968, pp./757-764

/Wikipedia, Oculus Rift/ "Orlovsky and Oculus Rift" by Sergey Galyonkin from Kyiv, Ukraine - Orlovsky and Oculus RiftUploaded by

Yakiv Gluck. Licensed under Creative Commons Attribution-Share Alike 2.0 via Wikimedia Commons -

http://commons.wikimedia.org/wiki/File:Orlovsky_and_Oculus_Rift.jpg#mediaviewer/File:Orlovsky_and_Oculus_Rift.jpg

/Wikipedia, Oculus Rift, Back/ Oculus Rift - Developer Version - Back" by Sebastian Stabinger - Own work. Licensed under

Creative Commons Attribution 3.0 via Wikimedia Commons - http://commons.wikimedia.org/wiki/File:Oculus_Rift_-

_Developer_Version_-_Back.jpg#mediaviewer/File:Oculus_Rift_-_Developer_Version_-_Back.jpg

/Wikipedia, Oculus Rift, Front/ "Oculus Rift - Developer Version - Front" by Sebastian Stabinger - Own work. Licensed under

Creative Commons Attribution 3.0 via Wikimedia Commons - http://commons.wikimedia.org/wiki/File:Oculus_Rift_-

_Developer_Version_-_Front.jpg#mediaviewer/File:Oculus_Rift_-_Developer_Version_-_Front.jpg