Entwurfsaspekte interaktiver 3D-Inhalte · • Konzept handelnder Einheiten ist interdisziplinär kommunizierbar, da bekannt aus Film/Theater • Gute Abbildung auf 3D-Umgebung möglich

1

© Christian Geiger, 2002

Entwurfsaspekte interaktiver 3D-Inhalte

aktuelle Entwicklungen (auch) für mobile Geräte,

Illustration und Unterhaltung

Christian Geiger 3D-Computergrafik & Animation

Hochschule Harz, [email protected]


Zur Person…• Christian Geiger• Professor für Computergrafik an der Hochschule

Harz (FH) im Studiengang Medieninformatik• 1997-2001 Projektmanager Siemens C-LAB

Paderborn im Bereich Multimedia, 3D und AR– BMBF Projekt AR-PDA– EU-Projekt AMIRE (Authoring Mixed Reality)– Versch. Projekte zu 3D-GUI, Interaktiven Illustrationen,

Navigation in 3D• Interessensgebiete: Entwurf von 3D /AR

Anwendungen, Wissensbasierte Multimedia /Computergrafik, Spiele / Edutainment /Infotainment

2


Über diesen Vortrag• Disclaimer: Nur ein Teil der vorgestellten Arbeiten entstand

an der HS Harz, vieles ist in Kooperation mit anderen Instituten entstanden, bzw wurde im Rahmen eines 4-tägigen Workshops präsentiert

• ACM SIGGRAPH and Eurographics Campfire

• Ralf Dörner, FHG AGC, Frankfurt • Christian Geiger, HS Harz• Paul Grimm, FHG AGC, Frankfurt • Michael Haller, FH Hagenberg (A)

• PreProceeding bei Shaker Press erschienen (C-LAB Series)


Motivation• Interaktive 3D / VR / AR Inhalte werden von immer mehr Personen

verwendet und nachgefragt

• Es fehlt jedoch in vielen Bereichen an Inhalten, da die technologischen Experten selten anspruchsvolle Inhalte aus speziellen Domänen entwerfen (Programmierer als Designer?)

• Inhaltsexperten können andererseits selten mit neu entwickelten Technologien umgehen (Designer als Programmierer?)

• Bisherige F&E-Ergebnisse fokussieren zu einem erheblichen Anteil auf technische Lösungen (Algorithmen, Systeme / Protototypen)

• Authoring / Entwurfsaspekte werden zur Zeit kaum angemessen berücksichtigt

3


Vorbild Spiele?• Spieleindustrie ist zur Zeit einer der Schrittmacher im

Bereich 3D (David Ebert)

• Entwickelt sich zum wichtigsten wirtschaftlichen Faktor für Hardware und Software im Bereich Computergrafik / Multimedia

• Schnelle Erstellung benutzbarer Inhalte ist zwingend, um sich am Markt zu behaupten

• Nach langer Ignorierung wird die Spielethematik auch wissenschaftlich betrachtet (Konferenzen, Vorlesungen, Studiengänge)

• Synergien zwischen Spieleindustrie und anderen Bereichen?


Ansätze in den USA• 1997: Studie "Modeling and Simulation: Linking

Entertainment & Defense (M. Zyda, NavalPostgraduate School)

• Moves Institut bearbeitet diese Thematik mit verschiedenen Projekten:– 3D Visual Simulation– Networked Virtual Environments– Computer-Generated Autonomy– Human Performance Engineering– Technologies for Immersion– Defense and Entertainment Collaboration– Evolving Operational Modeling

• Interactive Computer Generated Stories• War Gaming• Scenario Based Training

4


Ergebnisse• Story-Engine für Army Game

Projekt– 2D (The Sims) und 3D (Unreal)– Psychologische Profil

identifizieren– für Karriereplanung– Werbung– Interaktive Story mit

Filmgenerierung

M. Capps, P. McDowell & M. Zyda "A Future forEntertainment-Defense Collaboration," IEEE Computer Graphics & Applications, Jan/Febr 2001


Und hier…?• 1999 IGD Initiative „Synergien Entertainment & Produktion“

– Serie von Workshops mit Fachleuten aus Produktion (Automobil), Entertainment, Hochschulen / Forschungseinrichtungen

– Resultat war Report des IGD Rostock: http://www.egd.igd.fhg.de/– Durch Kontakte dort entstand ua

• Campfire on Production Process on 3D Graphics• Proc. Of Web3D WS on „Structured Design of VE‘s and 3D

Components“, Shaker• GI2001 Workshop: Synergien von virtueller Realität und Computerspielen

• Dennoch kein Vergleich zu USA!• Wenigstens: Erste Ansätze im Hochschulbereich die

Spielethematik ernsthaft zu betrachten…

5


Übersicht• Was sind wichtige Aspekte beim Authoring?

– Konzeptionelles Modell, Prozess, Werkzeuge, Anwendungen

• Ausgewählte Beispiele für diese Bereiche– Nicht repräsentativ!

• Mobile Endgeräte– Spezielle Anwendungen für mobile Geräte

• Anwendungen im Bereich Entertainment & Illustration

• Augmented Reality (AR) als „Weiterentwicklung“ / 3D++


Augmented Reality• Verweis auf kommenden Vortrag über Mixed Reality• Kombination realer Aufnahmen mit computergenerierten Inhalten

Azuma’s Definition:

1. To combine real and virtual objects

2. Runs interactively and in real time

3. Registers (align) real and virtual objects with each other -> in 3D

6


Aspekte des Authoring• Konzeptionelles Modell

– Basis für gemeinsame Vorstellung / Sichtweise• Entwurfsvorgehen

– Definierbare Folge von Handlungsanweisungen• Basistechnologie

– Unterstützende IT-Technologie für 3D/VR/AR – 3D-Middleware?

• Visuelle Werkzeuge und Schnittstellen– Einfach benutzbare Werkzeuge zur effizienten Gestaltung

• Sinnvoller Anwendungsbereich– Direkter Nutzen für hinreichend viele Applikationen

• Benutzergruppen– Endbenutzer, Inhaltsexperten, technische Experten


1) Konzeptionelles Modell• „Wer nicht direkt in OpenGL/D3D denkt, verwendet

meist den Szenegraph“• Für Inhaltsexperten weniger geeignet, da selten

eine 1:1 Abbildung aus der Realität möglich ist• Andere Modelle aus dem Bereich Multimedia-

Softwareentwicklung:

7


Vorteil Aktorenmetapher• Konzept handelnder Einheiten ist interdisziplinär

kommunizierbar, da bekannt aus Film/Theater

• Gute Abbildung auf 3D-Umgebung möglich mit entsprechender 3D-Bibliothek: Aktoren+Attributes, Actions, Stage, MakeUp/Shape, Camera

C. Geiger, V. Paelke, C. Reimann, W. Rosenbach. A Framework for the Structured Design of VR/AR Content. VRST2000


2) Entwurfsvorgehen• Strukturierte Vorgehensweise bei der SW-technischen Entwicklung von

3D/VR/AR• Bisher existiert kein allgemeines, anerkanntes Vorgehen -> „Design and

Test“ aka „iteratives Prototyping“.• Wichtig erscheint ein benutzerzentrierter Ansatz, der rechtzeitig alle am

Ergebnis beteiligten Personen berücksichtigt• Da eine kontinuierliche Einbeziehung wünschenswert ist, sollten stets

überprüfbare Designrepräsentationen verfügbar sein

User Centred DesignEntwurf

Requirement EngineeringKontextanalysen

TestingEvaluation

Kontinuierlich testbare Designrepräsentation

8


Entwicklung und Content-AuthoringProcess Planning

Context Spec.

Req. Spec.

Design

Evaluation

Application / Content Level

„scriptwriting“

Concept / Goal Level

Design

Evaluation Req. Analysis

1 : n

„film sequence storyboarding“

Actor LevelReq. Analysis

Design

Evaluation

n : m

„actor and prop preparation“

(based on ISO 13407)

V. Paelke: Design of interactive 3D Illustrations, Dissertation, 2002


Anwendungsentwicklung und Content-Authoring

• Testbare Design Repräsentation:

(R)eale Aktoren

(V)irtuelle Aktors

(M)eta Aktoren

i4D Generic Actor (GA): (possible design representations)- < id > [Text] // unique id- < description > [Text] // textual description- < scribble > [2D-Image] // visual depiction- < design_sketch > [2D-Image] // visual depiction- < 3D_model> [3D-Model] // visual depiction- < anim_mov > [2D-Movie] // visual depiction- < anim_mod > [3D-Animated Model] // visual depiction- < REF_CASA_agent> [Reference] // links behaviour to 3D anim. model- < REF_i4D_actor> [Reference] // link to custom actor

C. Geiger, V. Paelke, C. Reimann, W. Rosenbach, J. Stoecklein.: Testable Design Representations for Mobile AugmentedReality Authoring, Int. Symposium on Mixed and Augmented Reality, Darmstadt, Germany, Sep 2002

9


3) Basistechnolgie• Ruf nach VR-Middleware: Komponenten, Bausteine, Reuse – „so

einfach wie Lego !“• Unterschiedliche Sichtweisen: Highlevel Komponenten (z.B.

verschiedene I/O-Geräte) vs feingranulare SW-Objekte (z.B. Animationen)

• Es existieren in beiden Bereichen zahlreiche Ansätze, vgl z.B. Proc. Of Web3D WS on „Structured Design of VE‘s and 3D Components“, Shaker.

• Eine Applikation aus „Legokomponenten“ wird immer wie Lego aussehen

• Besser(?): universelle Elemente, die stets angepasst werden müssen und domänenspezifische Elemente, die einfach konfigurierbar sind

• „Gems + Components“ (EU Projekt AMIRE)

Visual tools

Windows Unix Direct3D

...OpenGL OpenSG ...

Platform abstraction layer

3D componentmanagement system

Extensions

Script interface C++ interface

Application


Aktuelle Ansätze• Research: Visual Design Patterns, Ressourcen-

kalkulierenden AR-Komponenten [campfire]• Open Source: OpenSG (www.opensg.org) • Kommerziell: z.B. Komponentenorientierte Shark

3D-Engine, alchemy im Spielebereich

www.shark3d.de

10


Nicht Photorealistisches Rendering & Anwendungen im Spielebereich

• Bert Freudenberg, Maic Masuch, Uni Magdeburg


4) Werkzeuge• Zahlreich für den Spiele-Bereich und ähnliche

Anwendungsgebiete, jedoch erst seit kurzem für Inhaltsexperten (Designer) geeignet – Konzentration auf 3D Desktop Bereich

• Realimation, EON, Alchemy,…• RealTime Pakete von 3D-Werkzeugen (Maya RTA, Max,…)• Director8.5, Virtools,…• Script Wrapper, Alice,…

11


X3D Editor• Don Brutzman• X3D = 3D-Webformat, das VRML

entspricht und XML-basiert ist• Iso-Spezifikation• Nutzt Vorteile von XML für strukturierte

Darstellung und Möglichkeit der Übrufungerzeugter Konstrukte

• Editor basiert auf IBM‘s Xeena:XML-basiertes Werkzeug zum Erzeugen von XML-Sprachen


Entertainment: Virtual Characters• Ken Perlin, NYU : Prozeduraler Shader für Emotionen• „procedural approach to modifying body movements so as to convey various

moods and personalities“. • „Yet for games, linear animation content (the equivalent of pre-canned acting),

does not suffice - characters need to change the way they act as the game playchanges the situation“.

• „For example, a character should use very different body language when in thepresence of a love interest, or when in the presence of a 30 foot fire breathingdragon“.

12


Entertainment: Virtual Characters• Authoring glaubwürdiger 3D Charaktäre mit

prozeduralen Techniken und Noise-Funktionen• www.kenperlin.com

• Ziel: 3D-Entertainment zwischen Harry Potter und Lara Croft


5) Anwendungsbereiche • Interaktive Illustration im Bereich

Edutainment / Infotainment• Z.B. Rekonstruktion von Artefakten• Zur Erläuterung technischer

Exponate

V. Paelke, L. Grötzbach, J. Stoecklein, C. Geiger, C: Reimann, W. Rosenbach: The AR-ENIGMA – A PDA based Interactive Illustration, SIGGRAPH Sketches & Applications, San Antonio, Texas, USA, July, 2002

13


Fallstudie: Besuch im Computer• Ausstellung im Computermuseum

Paderborn• Illustration + Entertainment

(Zielgruppe: 12-16J) • Neben erklärenden Elementen

einfache 3D-Spiele zur Thematik

• Partner: Festo AG Esslingen, HNI Paderborn, Hochschule Harz

• Präsentation auf der Hannovermesse 2003 (DIM)• Echtzeit-3D Entwicklung mit alchemy

• Aufgabe HSH: Design von Spielideen, PrototypingMedieninhalte entwickeln, Unterstützung bei Spieleentwicklung


Ansatz: Arkadespiele• Arcade- & Gesellschaftsspiele als erfolgreich

erprobte Spielideen• Vorteil:

– einfache, schnell erlernbare Spielkonzepte– schneller Spielablauf– abwechslungsreiche Spielschemata– Erfolg bereits bewiesen

14


Erste Spielideen• Ideen zu RAM, ROM,

Steuerwerk, I/O, Binärem Rechnen

• Bem: Darstellung ist nicht das endgültige Design!


Anwendungen für mobile Endgeräte• Mobile Endgeräte

– PDAs, Smartphones– Subnotebooks– (Farb-) Displays– z. T. mit Kamera

• Breitbandige Netzwerke– GPRS, HSCSD– UMTS– Wireless-LAN

15


Anwendungsszenarien• Welche Anwendungen?• Welche Inhalte?


Anforderungsanalyse durch Zukunftsworkshops

• Potentielle Nutzer und Experten• Generieren gemeinsam Anwendungs-Ideen• Verfeinern Ideen zu Anwendungs-Szenarien

Ergebnis: 31 Anwendungs-Szenarien

16


Untersuchung:• Vorgehen:

–Ranking der Anwendungsszenarien–Auswahl von Szenarien–Machbarkeitsstudien

• Fragestellungen:–Strukturiertes Entwurfvorgehen–Nachweis der Benutzbarkeit–Einschränkung der Visualisierung und Interaktion–Leistungsfähigkeit von Netzwerk und Endgerät–Gewährleistung von „Fun-to-use“ und „Ease-of-Use“


Basistechnologie (C-LAB)• PDA: Compaq iPAQ 3630

– 206 MHz Intel StrongArm– Windows CE / Linux– Display: 320 x 240 Pixel

• Camera: Analog– TriMedia 1100 for H.263

Encoding – via RS232 (115 kBit)

• Network:– IEEE802.11b -Wireless LAN– TCP/IP– 11 Mbit

17


Virtueller Museumsführer

„Video-see-through“ „Abstracted 3D“ „Text Overlay“


Virtueller Museumsführer (2)

Wizard-of-Oz Tests

„Reality“ rendered from R-Actors

„Augmented Reality“ rendered from Trigger Graph

Test-UserWizard Simulated „Reality“

18


Financial Consulting

• Mögliche mobile Unterstützung beim Erwerb einer Immobilie:– Navigationssystem– Erläuterungen– Virtueller Haus/Gartenplaner– Finanzierung


AR-Illustration „DigiCam“

19


Mobile Games


Mobile Games• In einer Studie analysierte

Datamonitor, dass bereits ab 2002 50% der Besitzer von mobilen Endgeräten Spiele nutzen werden. Bereits 2005 soll dies auf ca 80% der Benutzer ansteigen

• Mit Java-Entwicklung auf Handys, Xscale Prozessor als StrongArm Nachfolger sind ggf. Spiele die Killerapplikation für mobile Endgeräte

• Aktuelle Implementierung sind zur Zeit auf Arcade-Niveau, Kommerzielle 3D-Ansätze noch in weiterer Ferne

Auf dem Campfire präsentierte C-LAB eine reine Client-Lösung mit PCMCIA Camera-Modul von HP

AR Soccer, © C-LAB

20


Neue Client-Version• HP Kamera in iPAQ• Reduktion der erkannten

Spielfläche• Optimierung der

Bilderkennung• Läuft vollständig auf dem

Client• 5-8 Frames

www.c-lab.de


Rückblick: Campfire• Ca 40 Personen aus verschiedenen Disziplinen (Designer,

3D-CG, Animation, HCI, Engineers) • Breites Spektrum der Diskussionspunkte• Authoringthematik wird bisher nicht angemessen reflektiert

(auch aus Sicht der SIGGRAPH)• Sehr positives Feedback der Teilnehmer, Wunsch nach

regelmäßiger Veranstaltung• Post Proceeding mit erweiterter Darstellung der Arbeiten ist

geplant• www.agc.fhg.de/campfire

• SIGGRAPH CAMPFIRE‘s sind eine hervorragende Gelegenheit für den Versuch, eine Thematik zu etablieren

21


Mobile Endgeräte• Entertainment / Edutainment und Infotainment sind

interessante Anwendungsfelder für mobile Endgeräte• Nur wenn einfach benutzbar und echter Mehrwert vorhanden• Einfache Erstellung notwendig!• Leistungsfähigkeit noch zu begrenzt für fortgeschrittene

interaktive 3D-Techniken (oder AR!)• Szenarien:

– Personal Information Management (PIM)– Multimediale Kommunikation (z.B. MMS)– Unterhaltung und Spiele– Kreative Anwendungen (z.B. Fotos)– Ortsbezogene Dienste– Externe GUI: „Graphische Fernbedienung“– Interaktive Illustrationen (z.B. Erklärungen und Anleitungen)

Unterschiede zu Desktop-Awendungen:Kontextabhängigkeit, Interaktionsdauer


Entertainment / Games und R&D• Bisher sehr wenig…• Neben Spielentwicklerkonferenzen (GDC, etc) kaum

wissenschaftliche Betrachtung– IWEC: International Workshop on Entertainment

Computing, Mai 2002, Japan– In 2003 evtl Konferenz Entertainment Computing kurz vor

GDC geplant• Erste Bewegung gerät in etablierte Konferenzen im

bereich Computergrafik, Multimedia, etc.• Auch in R&D Abteilungen großer Unternehmen (z.

B. Siemens)

22


Erste Vorlesungen im deutschsprachigen Raum

• Uni Magdeburg• FH Hagenberg• TU Wien• Uni Frankfurt• Hochschule Harz• …• Hochschule Bremen• Hier sind andere schon beträchtlich weiter, z.B.

– Univ. Salsbury bietet BSc Computer and Video Games– CNAM Institute Frankreich: Postgraduierten Studium Game Design,

PostProduktion


Danke für‘s Zuhören!

Kontakt: [email protected]

23


squippedVideobasiertes 3D-Adventure für PDA

HS Harz, Medieninformatikin Kooperation mit C-LAB


Basiert auf MediaPoint• Einfache Präsentations-Software für IPAQ• Entwickelt im C-LAB Paderborn• Endlicher Automat mit Aktionen wie z.B.

– Bild / Text anzeigen– Video abspielen (PocketTv API)– Stift-Interaktionen

• XML-Beschreibung des Automaten ermöglich schneller Erzeugung und Test von Mock-Ups

24


Neue Formen der Unterhaltung?• AR Quake von B. Thomas, U South Australia

Movie2.mov


Extended Virtuality+Entertainment• University Singapur: Echtzeit-Rendering realer

Personen in virtuellen Umgebungen

25


Interaktive 3D-Präsentation• Studentenprojekt der Hochschule Harz• Messedarstellungen, Give-Aways, Image-Medien (Visitenkarten-CD)• Skriptbasiertes Präsentationssystem, das Echtzeit3D + 2D in Layern

kombiniert, Import von 3D Max Szenen• Aktuelle Arbeiten ermöglichen Kombination 2D / 3D• Frei verfügbar (bald)

Präsentation für SBS


3D->AR:Werkzeuge im AR-Bereich• Für AR existiert bisher (fast) nichts: ImageTcl AR, AR Toolkit• Eigener Ansatz für 3D/AR als bausteinorientierter Editor für

3D-Grafik + AR-Bausteine (Gems) (Diplomarbeit in PB)• 3D-AR Modellierungssystem Tinmith-evo5

Vorläufer der aktuellen Arbeit zu einem AR-Editor

26


Alice – www.alice.org• Skriptbasierte 3D-

Animationssystem für Low-EndAnwendungen (Java/Python)

• Echtes Rapid Prototyping möglich • Studenten können in 2-3 Wochen

kleine Spiele entwickeln

Documents

Entwurfsaspekte interaktiver 3D-Inhalte · • Konzept handelnder Einheiten ist interdisziplinär kommunizierbar, da bekannt aus Film/Theater • Gute Abbildung auf 3D-Umgebung möglich