© 2007 Raimund Dachselt, Magdeburg 1

Vortrag FH Oberösterreich 17.12.2007

Dreidimensionale Interaktionstechniken und Zoomable User Interfaces für Mixed Reality Anwendungen

Jun.-Prof. Dr.-Ing. Raimund DachseltAG Computervisualistik/Software Engineering,

Otto-von-Guericke-Universität Magdeburg

© 2007 Raimund Dachselt, Magdeburg 2

MotivationSituation– Vielzahl heterogener Endgeräte und Nutzungskontexte

– Vermischung realer und virtueller Welten Mixed Reality (MR)

– Zunehmend komplexe Daten- und Informationsflut, private Daten

– User Interfaces (UIs) künftig entscheidender Erfolgsfaktor

Ziel: effiziente und nutzerfreundliche Post-WIMP UIs – Verschmelzung von Visualisierungstechniken & UIs

– Media-rich (3D-Graphik, dynamische Animationen, 3D Sound…)

– Natürliche, situative Interaktion in MR-Kontexten

– Für alle Menschen, nicht nur Experten

Ziel: softwaretechnologisch flexible Realisierung neuer Anwendungen– Neuartige technologische Ansätze nötig

(Beispiel Web2.0-Techniken)

– Unterstützung des komplexen MR-Authorings

HCI

ComputerGraphics

InfoVis

© 2007 Raimund Dachselt, Magdeburg 3

Gliederung

3DUI: Dreidimensionale Benutzungsschnittstellen– Komponentenarchitektur Contigra

– Klassifikation & Spezifikation von 3D-Widgets

ZUI: Zoomable User Interfaces– TimeZoom

– FacetZoom

– Mambo: Mobile fAcet-based Music BrOwser

Zusammenfassung & Ausblick

© 2007 Raimund Dachselt, Magdeburg 4

Projekt CONTIGRAComponent-OrieNted Three-dimensional GRaphical Applications

3DUI: Dreidimensionale Benutzungsschnittstellen

© 2007 Raimund Dachselt, Magdeburg 5

3DUIs – MotivationRäumliches Orientierungs- und HandlungswissenInteraktive 3D-Anwendungen: Virtuelle RealitätWeb3D, Desktop-VR, Augmented & Mixed Reality– breiteres Anwendungsfeld und großes Potential

auch für MassenmarktProbleme – Programmierung schwer & zeitaufwendig, ungenügende

Autorenwerkzeuge/IDEs– Keine 3D-Designstandards, keine wiederverwendbaren

3D-Interaktionsbausteine…– Nutzen von 3D-Grafik generell, Navigationsprobleme…

© 2007 Raimund Dachselt, Magdeburg 6

3D-InfoVis-Beispiel: CCT

Collapsible Cylindrical Trees [Dachselt & Ebert InfoVis 99]

– Technik zur schnellen Navigation mittelgroßer Hierarchien

– Ersten beiden Hierarchieebenen + Pfad immer sichtbarAbbildung von Geschwisterknoten auf ZylinderTeleskop-Metapher: verschachtelte ZylinderParallele Anzeige aller l=1 Zylinder

– Navigation des Baumes ohne Clicks

– Nützliche Balance von Detail & Kontext: dynamisch ein- und ausgeblendete Sub-Hierarchien

– Schnell erfaßbares und vorhersehbares Layoutoptimiert auf maximale Anzeigequalität und Lesbarkeit

© 2007 Raimund Dachselt, Magdeburg 7

3DUIs – Lösungsansätze

Lösungsansätze: – Gestaltungsrichtlinien, Action Spaces, Metaphern

– Klassifikation und Spezifikation von 3D-Interaktionselementen (3D-Widgets)

– Contigra-Architektur [Dachselt SIGGRAPH Sketch 2001, Dissertation 2004]

Dokumentzentrierte, deklarative 3D-Komponentenarchitektur auf XML-BasisStrukturierte Dokumente beschreiben Schnittstellen, Implementierung, Konfiguration und AssemblierungHigh-Level Sicht oberhalb des SzenengraphniveausWiederverwendbarkeit auf verschiedenen EbenenIntegration neuartiger Ansätze zur deklarativen Beschreibung von Raumklang (Audio3D) sowie Objektverhalten (Behavior3D)

© 2007 Raimund Dachselt, Magdeburg 8

Ebenen Resultierende Dokumente WerkzeugeAufgaben

Schnittstellen-beschreibung

Implementierung

ContigraBuilder

3D-Modellierungs-, Medien & Programmier-werkzeuge

Komponenten-entwicklung

RingMenu 3D-Komponentenmit Komponenten-schnittstelleund separaten Implementierungs-dateien

DistributionSuche, Auswahl, Download

Komponenten-datenbanken,Webportale

Distributionsfähige 3D-Komponenten

ContigraBuilderAnwendungs-entwicklung

assemblierte3D-Applikation (formatunabhängig)

konfigurierte Komponenten

SliderButtonRingMenu

Komponenten-Konfiguration,Assemblierung,Verknüpfung

Spezifische 3D-Viewer (z.B. VRML-PlugIn)Laufzeit Nutzung,

evtl. Adaption3D-Applikation im Zielformat(Web/stand-alone)

Contigra – Komponentenentwicklungsebenen

© 2007 Raimund Dachselt, Magdeburg 9

Autorenwerkzeug ContigraBuilder

© 2007 Raimund Dachselt, Magdeburg 10

Contigra: Transformationsprozeß & Demos

Übersetzung der XML-Dokumente über Objektmodell (Data-Binding) oder mit XSLT-Stylesheets– Zielformate HTML, VRML97, X3D, OpenSG u.a.Komplexe 3D-Kongreßzentrums-Anwendung– 15 Komponenten: 5 Standard, 10 neue– 49+x Komponenteninstanzen (max. 1600) Eignung vor allem für (Web)3D-Anwendungsklassen– Produktpräsentationen/E-Commerce– Lehr-/LernanwendungenKooperation mit EADS Research Ottobrunn– Virtual Manual – Projekt

zur Flugzeugwartung

© 2007 Raimund Dachselt, Magdeburg 11

3D-Adaption und PersonalisierungAdaption von interaktiver 3D-Grafik– an Nutzerpräferenzen, Fähigkeiten und Gewohnheiten– an Kontext (Geräte/Zielplattformen & weitere, z.B. Location) Kombination der Hypermedia-Adaptionsarchitektur AMACONTmit CONTIGRA [Dachselt, Hinz, Pietschmann Web3D 2006]

– Layered Context Modelling Framework als Basis– Parametrische Adaption– Strukturadaption– Rich Media Adaptation

(medienübergreifend)

© 2007 Raimund Dachselt, Magdeburg 12

Klassifikation & Spezifikation von 3D-Widgets

Klassifikation von 3D-Widgetsin 38 Klassen [Dachselt & Hinz 3DUI 2005]„Datenblätter“ online verfügbar unter www.3d-components.orgKonsistente Spezifikation[Figueroa, Dachselt, Lindt VR 2006]“A Survey and Taxonomy of 3D Menus” [Dachselt & Hübner Computers & Graphics 2007]

© 2007 Raimund Dachselt, Magdeburg 13

3D-Widgetklassifikation: MenüsFokussierung auf Anwendungskontrolle– Three-dimensional menus: A Survey and Taxonomy

[Dachselt & Hübner, Computer & Graphics 2007]

– Klassifikation von Menüs ausimmersiven und semi-immersiven VEs (a-f)Augmented Reality – Anwendungen & Tangible UIs (g-i)Desktop-VR-Anwendungen (j-l)

© 2007 Raimund Dachselt, Magdeburg 14

Taxonomie von 3D-Menüs

© 2007 Raimund Dachselt, Magdeburg 15

ZUI: Zoomable User Interfaces für PIMM

Projekt INPERICINtuitive Interfaces for PERsonal Information Collections

© 2007 Raimund Dachselt, Magdeburg 16

Motivation PIMM-VisualisierungenStark zunehmenden Menge an persönlichen Daten– E-Mails, Kalenderdaten, Adressen, Nachrichten– Mediendokumente, digitale Erinnerungen, Blogs– Amtliche Schreiben, Anträge, Bankdokumente etc. – Personal Information Management +

Media Management (PIMM) > Management persönlicher Informationskollektionen

Visualisierungstechniken und intuitive UIs nötig für– Akquisition, Organisation, Speicherung, Verwaltung, Suche,

Filterung, Verteilung & Präsentation dieser InformationenProbleme (große Datenmengen, begrenzte Displays) lösen:– Überblick & Detail (etabliert)– Fokus & Kontext-Techniken (z.B. durch Verzerrung)– Zooming und Panning “Multiscale UIs”

Semantik, Aspekte, 2.5/3D-Techniken

© 2007 Raimund Dachselt, Magdeburg 17

TimeZoom

TimeZoom [Dachselt & Weiland CHI 2006]

– Uniformes Zeitvisualisierungswidget mit kontinuierlichem Zoom

Beliebig feingranulare Zeiteinheiten vertikal gestapelt Schnell und stufenlos zoombarLupenfunktionalität als Detail- & Kontext-TechnikLabel-Vererbung und semantisches Label-Zooming

– Visualisierung kontinuierlicher und diskreter zeitabhängiger tabellarischer Daten darüber

Raumgliedernder Ansatz

© 2007 Raimund Dachselt, Magdeburg 18

TimeZoom– Realisierung der Prototypen mit Flash,

Qt (C++), Piccolo.Net (C#)

– Diskrete DatenKalender, E-Mails, Ereignisse, Nachrichten, Prozesse, Dokumente, Medien…

– Kontinuierliche DatenWetterdaten, Aktienkurse, Sensordaten,…

© 2007 Raimund Dachselt, Magdeburg 21

Mobile fAcet-based Music BrOwserMAMBO [Dachselt & Frisch MUM 2007]

– Suche, Stöbern & Filtern von großen MusiksammlungenBeispiel für mehrdimensionale Daten

– Songs, Alben… visuell nach Aspekten sortierthierarchische Metadaten-Facetten: Zeit, Genre, Namen, Rankings…

– Basis: Zooming-Widget FacetZoom [Dachselt et al. CHI 2008]FacetZoom: subdividing a set of data items according to a filter dimensioninto different, hierarchically contained levels of detail

– Beispiel: alphabetisches FacetZoom-Widget– Wechsel der Detailebene:

Schrittweise Datenverfeinerung: besonders für physikalische GrößenFilterung von Daten: besonders diskrete Daten, Browsen von Hierarchien

© 2007 Raimund Dachselt, Magdeburg 22

Mobile fAcet-based Music BrOwserInteraktionstechniken – kontinuierlicher Multiskalen-Interaktion (+ Panning)– diskrete tap & center Technik– Level-Widget

Implementierung für Desktop/UMPC und PocketPC– Piccolo.Net + PocketPiccolo.Net (C#):

ZUI-Toolkit mit SzenengraphkonzeptNutzerstudie: 24 Nutzer; (PDA, UMPC) x 2 Layouts

© 2007 Raimund Dachselt, Magdeburg 23

Mobile fAcet-based Music BrOwser

© 2007 Raimund Dachselt, Magdeburg 26

Vision Seamless InteractionTrend: heterogene Displaylösungen everywhere, every size– Vielfältige mobile Endgeräte mit ausrollbaren Displays– Homecinema, integrierte Displays in Autos, Möbel, Wände…– Trend Surface/Tabletop-Displays– Große Projektionen im urbanen Raum, MegapixeldisplaysTrend: vielfältige multimodale InteraktionstechnikenSeamless Interaction über Gerätegrenzen hinweg– Minimierung der kognitiven Last, des mentalen Umschaltens– Verbesserte Skalierbarkeit und Übertragbarkeit der Einzeltechniken

UIs müssen skalierbar sein und sich hinreichend adaptierenUIs können über Nutzungskontexte hinweg migrieren

Realisierung eines User Interface Kontinuumserfordert neuartige Basistechnologien & Toolkits

© 2007 Raimund Dachselt, Magdeburg

Zusammenfassung & AusblickDank an Enrico Rukzio, Tobias Brückmann, Michael Hinz, Mathias Frisch, Markus Weiland, viele Kollegen und Studenten

3DUIs & 3D-InfoVis-Techniken– Wesentlich für Mixed Reality Szenarien– Erreich(t)en Massenmarkt

Zoomable User Interfaces für PIMM– Potential zum Management großer Datenmengen

Teil künftiger, teils mobiler MR User InterfacesAusblick– Intuitive, persönliche UIs werden immer wichtiger– Nahtlose Interaktion in verschiedensten Kontexten– Multi-Display / Multi-Device Interaktion– Neuartige SW-Technologien & Authoring-Ansätze nötig

28

© 2007 Raimund Dachselt, Magdeburg 29

Diskussion

Kontaktdachselt@acm.orgwww.contigra.comwww.3d-components.org

© 2007 Raimund Dachselt, Magdeburg 30

Referenzen (Auswahl)

Dachselt, R.: Towards a Document-based Approach to 3D Components; Workshop proceedings "Structured Design of Virtual Environments and 3D-s" of the ACM Web3D 2001 Symposium, Paderborn, February 2001.Dachselt, R.: Contigra: A High-Level XML-Based Approach to Interactive 3D Components; Conference Abstracts and Applications, SIGGRAPH 2001, Los Angeles, August 2001Dachselt, R.; Ebert, J.: Collapsible Cylindrical Trees: A Fast Hierarchical Navigation Technique; In: Proceedings of the IEEE Symposium on Information Visualization (IEEE InfoVis 2001), San Diego, October 2001Dachselt, R.; Hinz, M.; Meißner, K.: CONTIGRA: An XML-Based Architecture for Component-Oriented 3D Applications; Proceedings des ACM Web3D 2002 Symposiums, Tempe (USA), 24.-28. Februar 2002Dachselt, R.; Rukzio, E.: Behavior3D: An XML-based Framework for 3D Graphics Behavior; In: Proceedings of the Eighth International Conference on 3D Web Technology: ACM Press, New York, S. 101-112, 9.-12. März 2003.Hoffmann, H.; Dachselt, R.; Meißner, K.: An Independent Declarative 3D Audio Format on the Basis of XML; In: Proceedings of the 9th International Conference on Auditory Display: Boston University Publications Production Department, S. 99-102, Juli 2003.Dachselt, R., Hinz, M., Pietschmann, S.: Using the Amacont Architecture for Flexible Adaptation of 3D Web Applications, ACM Web3D 2006, Columbia, USA, 2006.Dachselt, R., Weiland, M.: TimeZoom: A Flexible Detail and Context Timeline, CHI 2006, Montreal Canada, 2006.Dachselt, R., Hübner, A.: A Survey and Taxonomy of 3D Menus, Computers & Graphics 1/2007

© 2007 Raimund Dachselt, Magdeburg 36

© 2007 Raimund Dachselt, Magdeburg 37

© 2007 Raimund Dachselt, Magdeburg 38

© 2007 Raimund Dachselt, Magdeburg 41