Keynote: Virtual Reality Analytics

Jörg Osarekits-people GmbH

Frankfurt

Version 1.0, 02.10.2015

SchlüsselworteBusiness Intelligence, BI, Virtual Reality, VR, Analytics, VR Analytics, Virtual Reality Analytics, Data Warehouse, DWH, Mixed Reality, MR, Augmented Reality, AR

Einleitung

Virtual und Mixed Reality (VR/MR) boomen. Aus der Notwendigkeit und Möglichkeit, VR/MR-Erfahrungen auszuwerten entsteht ein völlig neues Themenfeld im Big Data und Analytics Umfeld miteigenen, neuen Regeln, Herausforderungen, Chancen und Risiken.

Gleichzeitig beeinflussen immersive Medien den Anwender um Faktoren stärker als klassische Medien wie Filme, Computer oder Smartphones, da sie eine vollumschließende Realität erfassen. Diese beleuchtet der Vortrag, der an den VR-DOAG Vortrag von Jörg Osarek von 1998 anknüpft.

Seit dem Kickstarter Erfolg der Oculus Rift existiert ein regelrechter zweiter Hype rund um Virtual Reality (VR), Augmented Reality (AR), Mixed Reality (MR) - zusammen xR. Kaum vergeht ein Monat ohne eine bahnbrechende Ankündigung, sei es der Facebook Kauf von Oculus, das Google Investment von über eine halbe Millarde Dollar in Magic Leap oder die eng in Windows 10 integrierteMicrosoft Hololens.

Während im Spielebereich Virtual Reality inzwischen angekommen ist, entsteht gerade eine neue Cinematic VR Bewegung getrieben durch Experimente und Demos großer Studios wie Dreamworks, Disney oder Pixar.

Aber auch völlig neue gemischte Realitäten, wie das Überblenden digitaler 3D Welten mit der realen Welt in Microsoft Hololens. Auf Branchentreffs (FMX 2015, SVVR 2015 und der Immersed Europe (Spanien, September 2015) wird glasklar: Das Auswerten der Benutzerdaten, während einer xR Erfahrung ist immens wichtig.

Wir unterstützen Gordon's Arcade bei der Erstellung von Science Fiction VR movies und beim Schreiben des Buchs: „The Cinematic VR Formula“. Aus dem breiten Analysebedarf von VR Benutzer-Erfahrungen hat sich herauskristallisiert, dass zum Einen eine ganze Reihe neuer Techniken zu entwickeln sind, um eines Tages zu standardisierten Virtual Reality Analytics Plattformen zu gelangen. Zum anderen zeigt sich, dass ein viel weitergehendes Interesse auch außerhalb des reinen VR-Erlebnisses an solchen Analyseinformationen besteht – und dass hier enorme Datenmengen anfallen werden, bei denen Big Data fast wie der kleine Bruder aussieht.

Die neu entstehende Big Data Analysedisziplin (Immersive Analytik) untersucht:

• Optimierung von xR-Erfahrungen (schaffen höherwertiger VR-Werbeflächen)

• Kombination von xR Messdaten mit weiteren Daten wie Health Tracking Daten von der SmartWatch (Puls, Körpertemparatur, Stimmanalyse, ...)

• Chancen und Gefahren der Totalüberwachung: (der omnipräsente Lügendetektor mit Körperfunktionsanalyse)

Über diese Keynote hinaus arbeiten wir an einem Dossier zum Thema „Virtual Reality Analytics“, dass demnächst im Buchhandel erscheinen wird. Mehr dazu am Ende des Textes.

Alter Hut Virtual RealityEs gibt einige historische Beispiele für virtuelle Realität, die weit vor unsere Zeit des Farbfernsehens zurückreichen, doch die erste große VR-Welle schwappte in den 1990er Jahren über die Welt. Sie war ein Fehlschlag, weil die Technik teuer war und wenig leistungsfähig (z.B. Nintendos VR Boy mit einem roten Mono-Display mit sehr schlechter Auflösung und einer schlechten Latenz). Doch jetzt steht die zweite Welle an und diesmal sind die Rahmenbedingungen deutlich anders.

Virtual Reality Headsets erreichen 2016 den Massenmarkt

Moderne VR Headsets und Developer Kits gibt es seit dem Aufstieg von Oculus 2012 viele, doch befanden wir uns bislang im Experimentierstadium. Derzeit schon als Endkundenprodukt am Markt istdas von Facebook und Oculus initiierte Samsung Gear.

Für 2016 haben viele große Hersteller die Markteinführung ihrer VR / MR Headsets angekündigt, so zum Beispiel: Oculus Rift, Microsoft Hololens, Sony Playstation VR (bislang bekannt als Project Morpheus). Damit wird die Anwenderbasis deutlich verbreitert. Anders als in den 1990er Jahren, in denen eine Markteinführung an hohen Preisen und unausgereifter Technologie scheiterte, sind wir jetzt mit technisch ausgefeilten Geräten im Consumer-Preisbereich angelangt.

In der Tat ziehen Virtual Reality Erfahrungen uns mit einer nie gekannten Intensität und Macht durch echte immersive (immerse=Eintauchen) Erlebnisse in ihren Bann und verursachen starke Emotionen – von Glückserlebnissen bis zu panischem Erschrecken. Schlecht gemachte VR Erfahrungen führen zu Übelkeit (Motion Sickness) oder können schlimmestenfalls eine Verletzungsgefahr darstellen, wenn ich in VR den Horizont plötzlich ruckartig wegreiße und der Anwender intuitiv versucht auszugleichen. VR-Content-Ersteller tragen eine große Verantwortung, doch sie werden VR-Unfälle nicht verhindern können, genau wie Autohersteller nicht verhindern können, dass Menschen mit ihren Autos Unfälle bauen. Ich habe selbst auf der World Science Fiction Convention 2014 in London über 150 Besucher unseren VR Prototypen testen lassen – eine kleine Tanzszene. Obwohl die Kamera statisch war, konnte ich nicht verhindern, dass Nutzer einfach mit dem Headset blind in die Menge liefen, weil sie ja sehen konnten, dass sie auf einmal „in einer anderen Welt“ waren – und da war nunmal keine Menge an Leuten.

Virtual Reality Analytics: Zwei Geschmacksrichtungen

Man kann grundsätzlich zwei Dinge unterscheiden, und man sollte aufpassen, dass man sie nicht verwechselt:

a) Analytics und Visualisierung im VR-Raum: Hier geht es darum, 2D- und 3D-Darstellungsmethodenin den virtuellen Raum zu übertragen und in seine Analysedaten quasi einzutauchen. Dieser Zweig desThemas ist hoch spannen, diesen betrachten wir hier jedoch nicht.

b) Analytische Auswertungen von Benutzer-Erlebnissen im VR-Raum. Was und wie erlebt jemand eine VR-Erfahrung. Welche Kenntnisse kann man daraus ziehen und wie kann man hier eine standardisierte Analytics-Plattform in ein Data Warehouse einziehen? Darum dreht es sich in dieser Keynote.

VR is not just headsets

Virtual Reality findet aber nicht nur in Headsets statt. Das reicht von Planetarien, in denen in 2D oder 3D VR Filme gezeigt werden (Digital Fulldomes) bis hin zu sogenannten VR-Caves (z.B. Disney's DISH – Digital Immersive Showroom http://www.designingdisney.com/content/tour-walt-disney-imagineering-headquarters ) oder umgerüsteten 3D-Kinos. ILM XLab fällt in die gleiche Kategorie (https://www.youtube.com/watch?v=7T9Dv1aLMbw ). Auch kollaborative Umgebungen wie CastAR ( http://castar.com/ ) beeindrucken dabei durch ihre Einfachheit (günstige reflektive Folie, die ruhig knittern darf) und ihr Realitätsgefühl (eine Brille mit zwei Mini-Beamern, die ein perfektes positional tracking bieten). Bei CastAR trägt sich die Brille denn auch eher wie eine Polarisationsbrille im 3D-Kino und fühlt sich nicht wie ein schweres Headset an. Eine solche Brille zwei Stunden zu tragen, kann ich mir eher vorstellen, als zwei Stunden ein abgeschlossenes schweres Headset auf dem Kopf zuhaben.

Abb. 1: Die CastAR, ausprobiert am 03.09.2015 in Murcia, Spanien auf der Immesed Europe Konferenz der Immersive Technology Alliance. Das Bild der beiden Mini-Beamer ist nur wenige Grad weit sichtbar, so dass mehrere Nutzer mit ihren Brillen am gleichen Modell arbeiten können. Blickt man durch die Brille, sieht man ein brilliantes 3D-Bild.Eine der vielen augenöffnenden Attraktionen.

Denken wir einmal ein wenig weiter, die ersten Handys und Mobilgeräte mit autostereoskopischen Displays gibt es bereits, siehe Nintendo 3DS oder große Displays, wie sie in Kinos oder Kaufhäusern zu finden sind. Von hier ist es nicht mehr so weit bis zu großen gebogenen OLED Displays mit Autostereoskopie, in die wir uns vollständig hineinbegeben können (Zylinder oder Dome ).

Die ersten echten Holografischen bzw. Lichtfeld Displays im Mini-Format sind ebenfalls schon da (vgl. http://www.heise.de/newsticker/meldung/Displayweek-Lichtfeld-Display-fuer-holografische-Projektion-2679406.html und https://www.leia3d.com/ ) und Goofle hat in 2014 über eine halbe Milliarde an Fördergeldern in Magic Leap investiert, die dem Anschein nach ebenfalls an einer portablen Lichtfeld-Lösung arbeiten.

Denken wir noch ein wenige weiter in die Zukunft. Anfang 2015 ist erstmals eine künstliche Netzhaut implantiert worden: ( http://www.forschung-und-wissen.de/nachrichten/medizin/kuenstliche-netzhaut-laesst-blinde-wieder-sehen-13372115 ) Kamera-Signale werden über einen tragbaren Computer an dasAugen-Implantat weitergeleitet. Was mit aufgezeichneten Bildern geht, geht auch mit berechneten. Es ist nicht so schwer vorstellbar, dass wir zukünftig in der Lage sein werden, direkte Projektionen in Nerven vorzunehmen (visuell, auditiv, kinesthätisch). Mark Zuckerberg geht dann auch davon aus, dass wir bald Emotionen über Facebook übertragen werden können (http://www.theverge.com/2015/6/30/8873819/mark-zuckerberg-facebook-sending-emotions-soon ). Ob das in jeder Situation so eine gute Idee ist, mag jeder selbst beurteilen.

Zusammenfassend sollten wir also bei Virtual Reality nicht nur an Headsets denken, sondern offen für neue Darstellungsformen in der Zukunft sein.

Ein semantischer Meta-Layer verleiht den Messdaten Bedeutung

Wenn wir jetzt erst einmal von einem VR Headset und einem VR Inhalt ausgehen, haben wir entwederreines rotational tracking – wir kennen nur die Rotation des Kopfs oder auch positional tracking, wir kennen die genaue Position des Zuschauers im Raum. Rotational tracking und Beschleunigungs-Sensoren bieten heute normale Smartphones, die häufig in Headsets eingesetzt werden.

Wenn wir dabei Messdaten erheben, können wir zwar feststellen, wann der Nutzer wohin geschaut hat, wie schnell das geschah und in welchem Winkel sein Kopf horizontal und vertikal stand, doch dassagt uns zunächst gar nichts.

Erst aus dem Mapping der Messdaten mit den Inhalten der VR Erfahrung ergeben sich für Business Intelligence verwertbare Informationen. Dies bedeutet: Wir benötigen einen Meta-Layer für die Bedeutungen der VR Erfahrung und ein Mapping-Verfahren, um die User-Interaktionen den Bedeutungen zuzuordnen. Am Ende kann dann als Mapping-Ergebnis herauskommen: Der Benutzer hat das rote Auto 12 Sekunden lang mit seinen Blicken verfolgt.

Je nach Art des Contents ist das Erfassen der Bedeutungs-Schicht recht unterschiedlich. Bei reinen 360 Grad Videos (2D oder stereoskopisch) muss die Bedeutung i.d.R. manuell erfasst werden. Hier versprechen Bilderkennungs-Algorithmen wie z.B. von Google oder Youtube allerdings Abhilfe. Sie können diese Bedeutungs-Schicht heute schon ansatzweise, zukünftig zu einem immer höheren Prozentsatz automatisch hinzufügen. Auch weitere Kanäle wie z.B. Ton kann relevant sein. Es ist ja vorstellbar, dass der Nutzer sich nach einem Geräusch hinter sich umsieht (sofern das Video Spatial Sound bietet).

Anders sieht es bei in Echtzeit erzeugten 3D-Welten aus. Hier wird üblicherweise in einer 3D-Engine der Inhalt live berechnet. In der Spiele-Engine sind also die Objekte bekannt und es kann ermittelt werden, welche Objekte gerade im Blickfeld sind.

Bei beiden Varianten gilt: Das Blickfeld ist noch nicht identisch mit dem direkten Blick. In einem Blickfeld können viele Objekte sein, welches der Anwender gerade anschaut lässt sich nur mit einem Eye-Tracking feststellen, das aber bei einigen Lösungen ebenfalls schon existiert, wie z.B. dem VR Headset Fove ( http://www.getfove.com/ ).

Erste Anbieter spezialisieren sich auf VR Analytics

Zu nennen sind beispielsweise RetinadVR ( https://www.retinad.io/ ) , welche ein Unity3D Plugin anbieten, um VR Daten zu sammeln. Noch (Stand 02.10.2015) nehmen sich die Messdaten allerdings bescheiden aus, doch auf der Seite findet sich der Hinweis: „“. Ein anderes auf VR Analytics fokussiertes Beispiel ist www.Kosher.tv – eine Media Ventures Tochter. Kosher.tv engagiert sich u.a. stark im US-Wahlkampf 2016. Es ist eine Frage der Zeit, bis auch die großen klassischen Anbieter sich Wege suchen werden, VR Nutzerdaten in ihre BI Systeme zu integrieren.

Das Video, das zurückschaut: Emotion Analytics auch ohne Headset ist Realität

Wer denkt, das Thema betrifft nur diejenigen, die sich VR oder MR Headsets aufsetzen, der irrt.

Wie 2012 auf der DOAG Konferenz in meinem SoMoLo-Vortrag für 2017 vorhergesagt ( http://www.slideshare.net/joergosarek/clipboards/clipboard_somolo ), ist das zurückschauende Videobereits heute – zwei Jahre früher - Realität

Die Firma www.affectiva.com bietet eine Lösung an, die mit einer normalen Webcam (Tablet, Smartphone, PC) den Konsumenten eines Videos beim Zuschauen beobachtet und seine Mimik analysiert. affectiva hat die weltgrößte Emotion database aufgebaut mit über 3,2 Millionen analysierten Gesichtern aus über 75 Ländern und über 11 Milliarden Emotion data points (Stand Oktober 2015). Die Lösung ist sowohl online über das Web nutzbar als auch offline. Außerdem stellt affectiva ein SDK zur Verfügung, mit dem Unternehmen eigene Analysesysteme erstellen können.

Im Selbstversuch zeigte das System eine erstaunlich hohe Trefferquote. Offensichtlich scheine ich zu überdurchschnittlichen Expressionen in meinen Gesichtsausdrücken zu neigen.

Abb. 2: Joerg Osarek bei der Online Emotionsanalyse beim Ansehen von Werbe-Videos (2 zusammengefügte Bilder meiner Session vom 02.10.2015).

Gedanken lesen durch Analyse der Augenbewegungen

Wer neurolinguistisches Programmieren (NLP) kennt und vielleicht auch vertrieblich einsetzt, weiß, dass man über Augenbewegungen herausfinden kann, auf welche Weise ein Mensch gerade denkt, wiezum Beispiel: visualisiert er gerade etwas, erinnert er sich an etwas oder erfindet er gerade etwas neues. Es ist relativ einfach, Analyse-SDKs auch mit solchen Funktionen auszustatten. Nutze man nunVR Headsets mit eye Tracking dazu wie FOVE oder über die Aufnahme über Webcams (sofern die Auflösung dazu ausreicht). Somit können weitere Informationen zu den Emotion-Sets hinzugefügt werden. Allerdings wird es dann komplex, wenn es darum geht, zu unterscheiden: Schaut jemand gerade ein Objekt im VR-, MR- oder RR (Real Reality)-Raum an, oder denkt er gerade über etwas nach. Es geht also schon ein wenig in Richtung Rocket Science, jedoch kann man stufenweise vorgehen und Schritt für Schritt die Fähigkeiten der Analyse-Systeme erweitern.

Weitere Datenquellen hinzuschalten

Wir können die Erkenntnisse über eine Nutzer-Erfahrung nun ausbauen, indem wir weitere Informationsquellen hinzuziehen, wie beispielsweise Smart Watches mit Körperfunktionsanalyse. Wenn ich z.B. ein VR Video anschaue, dabei mit den Augen einer Person folge und gleichzeitig geht mein Puls in die Höhe, während sich meine Körpertemperatur erhöht, der PH-Wert meiner Haut und meine Muskelspannung sich ändern, sind dies additive Indikatoren über mein Empfinden zu dieser VRErfahrung. Auch das ist faszinierend, wir sollten allerdings darüber nachdenken, in welchen Grenzen wir uns hiermit wohlfühlen und was davon gesellschaftliche Akzeptanz findet. Die Nutzungs- und Missbrauchs-Möglichkeiten sind hier groß und zum Teil schon erkannt. (vgl. http://www.heise.de/newsticker/meldung/Wearables-Treue-Assistenten-oder-Koerpertrojaner-2835921.html und http://www.heise.de/mac-and-i/meldung/Zuschuss-fuer-die-Apple-Watch-bei-der-Techniker-Krankenkasse-2817046.html )Transparenz ist hier ein hohes Gut. Es ist vielleicht besser, zuBeginn einen öffentlichen Diskurs zu führen und sich auf eine Begrenzung zu einigen, als im Nachhinein durch investigative Aufdeckung in einen Skandal zu geraten, in dem Sachlichkeit im Verhältnis zu reißerischen Presse-Schlagzeilen kein ausreichendes Gewicht mehr hat.

Weitere Datenquellen können und werden folgen, wie zum Beispiel:

• Stimmungsanalyse aus der Sprachinformationen des VR Konsumenten

• Umgebungstemparatur-Messung, Wetter-Daten

• Informationen aus dem Infrarot- und UV-Bereich sowie weiteren Spektren (Haie können elektrische Felder erspüren – warum sollen technische Sensoren nicht wichtige Hinweise in weiteren Spektren finden können?)

Ubiquitous Sensible Mixed Reality - USEMIR

Die Beispiele über Projektionstechniken und Mess- und Analysemöglichkeiten zeigen, dass wir weiterdenken müssen als an VR Headsets. Sie sind Teil einer immersiven, responsiven IT Welt mit emotionaler Intelligenz, in die nicht nur wir eintauchen, sondern die uns umspült und überschwemmt, auch, wenn wir einfach still stehen bleiben und kein Headset aufsetzen.

Und wir sollten noch etwas weiter denken. Ende September 2015 habe ich ein Spiel mit Hirnwellenanalyse gespielt. Das war zwar noch primitiv, aber lassen wir mal alle Technologien etwas reifen und in Kombination auftreten. Somit ergeben sich von uns erhobene und verarbeitete Daten, diesich George Orwell nicht einmal vorstellen konnte. Gleichzeitig werden die KI-Algorithmen immer ausgefeilter und nutzen immer komplexere neuronale Netze. Schritt für Schritt erwirbt die uns umgebende Technologie also die Möglichkeit, unsere Empfindungen und Gedanken zu lesen.

Ob dies wirklich immer wünschenswert ist, ist natürlich fraglich. Gleichwohl wird es passieren. Mit VR Analytics und seiner erweiterten Form „USEMIR-Analytics“ schaffen wir ein mächtiges Instrument als Erweiterung unserer heutigen Big Data Systeme. Es versetzt Menschen, Organisationenund zukünftig auch künstliche Intelligenzen in der Lage, so tief wie nie zuvor in unsere menschliche Seele zu blicken. Und wieder gilt die alte Weisheit, die Stan Lee – der Erfinder von Spiderman – so treffend formulierte: „With great power comes great responsibility“.

Zwei Dinge sind dabei bedenkenswert:

1) Wie tief wollen wir uns in unser tiefstes Innerstes blicken lassen?

2) Was wollen wir tun, um an unserem tiefsten Inneren zu arbeiten?

Die Qualifikationsformel für das 22.Jahrhundert

Und hier stellt sich die Frage danach, wie können wir uns in einer Welt umgeben von Technologie, diealles von uns weiß als menschliche Kultur qualifizieren für das 22. Jahrhundert durch unser Handeln jetzt?

Wenn der Geist der Maschinen erwacht – und das ist, wenn man sich damit eine Weile beschäftigt nur eine Frage der Zeit – und mächtiger und intelligenter auf uns Menschen schaut, was wird er vorfinden? Wie wird er uns beurteilen? Aber auch, wenn wir unter uns selbst bleiben würden: Wie beurteilen wir Menschen selbst unser eigenes Denken und Handeln? Wie erweisen wir uns würdig für den Eintritt ins 22. Jahrhundert?

Die Antwort, die ich mir in einigen Jahren intensiv erarbeitet habe, hat auch mich zunächst überrascht,doch je mehr ich darüber nachdenke, desto logischer erscheint sie mir.

Unsere menschliche Zivilisation muss wieder lernen, eine Kultur der Weisheit und Ritterlichkeit einzuüben. Weises und ritterliches Handeln sind der Schlüssel unserer Qualifikation für das 22. Jahrhundert. Dahinter stecken noch viel mehr Gedanken. Doch für heute genügt es, wenn Sie sich in Kurzform merken:

Q22=W+R

(oder auf englisch Q22=C+W = Civalry + Wisdom)

Dann klappt es auch mit VR Analytics.

Weiterführende Informationen im Dossier: Virtual Reality AnalyticsZu dem spannenden Thema Virtual Reality Analytics arbeiten wir an einem neuen Dossier, das unter dem Titel „Virtual Reality Analytics“ im Buchhandel erscheinen wird. Wieder werden Experten unterschiedlicher Disziplinen Artikel dazu beisteuern. Aktuelle Informationen darüber können Sie finden unter: www.skilltower.com

Kontaktadresse:

Für IT-Dienstleistungen Oracle, Business Intelligence, ERP, IT Projektmanagement:

Jörg Osarek, Partnerits-people Hochtaunus GmbH

Lyoner Str. 44-48D-60528 Frankfurt, Germany

Telefon: +49 (0) 151-23 0 24 333Fax: +49 (0) 69-2475 21 0 21E-Mail joerg.osarek@its-people.deInternet: www.its-people.de

Für IT Avantgarde Themen:

Jörg Osarek, InhaberSkilltower Institute™Triftstr. 30D-61350 Bad Homburg, Germany

Telefon: +49 (0) 151-23 0 24 333E-Mail joerg.osarek@skilltower.comInternet: www.skilltower. com

your IT business scout for game changing technologies