Augmented Reality

[Interaktion und Darstellung mit realen Objekten]

Florian WeidnerFakultät Informatik

Technische Universität DresdenNöthnitzer Straße 46

Dresden, Deutschlandinfo@florianweidner.de

ABSTRACTAugmented Reality Anwendungen etablieren sich zunehmendin unserer Gesellschaft, vor allem in Smart Spaces, d.h. Um-gebungen die eng mit Sensoren und Aktoren vernetzt sind.Zwei Hauptbestandteile solcher Anwendungen, Benutzungs-oberflachen und Anzeigetechnologien, bilden das Kernthemader vorliegenden Arbeit. Es werden diesbezuglich verschie-dene Techniken im Bereich der Augmented Reality (AR)analysiert und diskutiert, um einen Uberblick uber das The-ma zu geben. Nach einer Einfuhrung in der eine Definitionvon Augmented Reality enthalten ist und erlautert wird,folgt eine Analyse und Klassifizierung der Kernfunktionenvon Augmented Reality Umgebungen. Unterschieden wirdhier wie eingangs genannt zwischen Interaktion und Prasen-tation. Verschiedene User Interfaces werden klassifiziert undBeispielanwendungen diskutiert. Die drei bekannten Tech-niken Blicksteuerung, Tangible User Interfaces und die Ges-tensteuerung sowie die Zukunftstechnologie Brain ComputerInterfaces werden beispielhaft behandelt. Bei den Prasenta-tionstechniken werden ebenfalls nach einer Klassifizierungverschiedene Technologien erlautert und kritisch diskutiert.Head Mounted Displays, Spatial Augmented Reality undHandheld Displays bilden den Untersuchungsgegenstand.

Categories and Subject DescriptorsA.1 [Introductory and Survey]: Miscellaneous; H.5.1 [In-formation Interfaces and Presentation]: MultimediaInformation Systems—Artificial, augmented, and virtual rea-lities; H.5.2 [Information Interfaces and Presentation]:Multimedia Information Systems

KeywordsAugmented Reality, Interaction, Smart Spaces, Presentation

1. EINFÜHRUNGDie Digitalisierung und Vernetzung der Welt ist allgegen-wartig. Mehr und mehr Informationen stromen in immer

kurzerer Zeit auf uns ein. Neuartige Technologien - sowohlInteraktions- als Prasentationstechniken - sind notwendigum einen moglichst effizienten, einfachen und intuitiven Um-gang mit diesen Informationen zu ermoglichen. Das Kon-zept der Augmented Reality (AR) versucht Informationenauf neuartige Weise einzuordnen und adaquat zuganglich zumachen. Der Grundgedanke ist, digital hinterlegte Informa-tionen wie textuelle Informationen oder Bilder in die realeWelt einzubinden. Mit eigens entwickelter Hard- und Soft-ware werden diese Informationen zuganglich gemacht. Hierist zu beachten, dass im Gegensatz zu den etablierten Tech-nologien die Nutzung der Informationen in die reale Welteingebettet ist. Es existieren Augmented Reality Anwen-dungen in Produktions- und Forschungsumgebungen (SmartFactory), Wohnhausern (Smart Home), speziell fur altere be-ziehungsweise hilfsbedurftige Menschen (Ambient AssistantLiving) aber auch Lernumgebungen fur Schuler und Studen-ten. In allen genannten Domanen werden Informationen -Produktionskennzahlen, die nachsten Termine oder Erinne-rungen fur Arztbesuche - nahtlos zuganglich gemacht. Pro-minenter Vertreter einer AR-Anwendung ist die von Googleentwickelte Datenbrille Google Glass1 die eben solche In-formationen nicht aufdringlich ins Blickfeld einbindet unddie reale Welt mit digitalen Informationen anreichert. DieNutzung der Augmented Reality beziehungsweise von AR-Anwendungen kann raumlich begrenzt oder aber ubiquitarmoglich sein. Die genutzten Informationen sind per Defini-tion computergenerierte Daten die mittels verschiedensterPrasentationstechniken dargestellt werden.

1.1 DefinitionNach dieser kurzen Einfuhrung, die einen Uberblick uberdie Augmented Reality gibt, wird im folgenden eine genaue-re und etablierte Definition nach nach Milgram et al. [16]erlautert. Wie Abbildung 1 zeigt, wird die Augmented Rea-

Abbildung 1: Einordnung der AR[16]

lity naher an der realen Umwelt als an der komplett virtuel-len Umgebung eingeordnet. Diese etablierte Klassifizierung

1http://www.google.de/glass/start/

ist insofern nachvollziehbar, als dass AR-Anwendungen dieRealitat nur anreichern. Es werden bestehende reale Objek-te genutzt und in ihrem Informationsgehalt erweitert. ZumBeispiel werden bei einem Blick auf ein Objekt nutzliche Zu-satzinformationen auf dem Display einer Datenbrille ange-zeigt. Diese Definition deckt sich mit der von Furht[8] welcheaussagt, dass Augmented Reality der direkte oder indirekteBlick auf die reale physikalische Umwelt ist, bei dem vir-tuelle computergenerierte Informationen hinzugefugt wur-den. Nicht zu verwechseln ist die Augmented Reality mitder Augmented Virtuality (AV). Bei Letzterem werden rea-le Objekte in virtuelle Szenen eingearbeitet. Als einfachesBeispiel ist hier die Anwendung

”Windows on the World“ zu

nennen [23]. Hier wird eine Buroumgebung virtuell gestaltetund Texturen von zum Beispiel real existierenden White-boards in die virtuelle Szene eingearbeitet. Sowohl Augmen-ted Reality als auch Augmented Virtuality liegen im Bereichder Mixed Reality. Die Grenzen beziehungsweise Ubergangein Milgrams Kontinuum sind fließend.

1.2 ZieleDas Ziel von AR Anwendungen ist es, dem Nutzer Informa-tionen in einer Art zu prasentieren, die es ihm ermoglicht,sie intuitiv, effektiv und effizient zu nutzen sowie mit ihnenzu interagieren. Die Informationen sollen an den Kontextangepasst und zielgerichtet dargestellt werden. Der Kontextkann aus verschiedenen Sensordaten und aus Daten von ver-schiedensten Eingabegeraten generiert werden. Als einfacheKontextinformation kann hier beispielhaft die aktuelle Nut-zerposition genannt werden. Die Prasentation der Daten sollan Positionen bzw. Orten geschehen, die eben diesen Kon-text berucksichtigen und z.B. das Blickfeld nur angemes-sen beeinflussen. Denkbare Beispielszenarien, die diese Be-dingungen erfullen, ware ein intelligentes Displaysystem ineiner Wohnung. Der Benutzer bekommt nach dem Aufste-hen in Spiegeln oder Fenstern notwendige Informationen wieden Wetterbericht, News, eMails oder die Verkehrslage ange-zeigt. Am Wochenende werden keine Geschaftstermine ange-zeigt. Die Information wird also an mit dem Kontextmerk-mal

”Zeit“ angepasst. Weiterhin andern die Informationen

ihre Position vom Schlafzimmerfenster hin zum Badezim-merspiegel, wenn sich der Nutzer dorthin bewegt. Die Infor-mation wird also an mit dem Kontextmerkmal

”Ort“ ange-

passt. Wahrend der Prasentation wird darauf geachtet, dassdie Informationen nur in den Ecken oder halb-transparentim Blickfeld prasentiert werden, um die Nutzung von Spie-geln und Fenster weiterhin moglich zu machen.

1.3 KlassifikationDie im Bereich Augmented Reality genutzten Gerate konnennach ihrer Aufgabe in die folgenden Klassen eingeteilt:

• Eingabegerate

• Prasentationsgerate

• Trackinggerate

• Zentrale Verarbeitungsgerate

Im Folgenden werden vor allem die Eingabegerate und Pra-sentationsgerate behandelt. Verschiedene Technologien, die

das Tracking eines Nutzers ermoglichen, werden kurz erlau-tert. Da die zentralen Verarbeitungsgerate meist handelsub-liche Computer oder Smartphones mit entsprechender Soft-ware sind, wird hier nicht weiter auf diesen Bereich einge-gangen.

1.3.1 InteraktionDie Interaktion mit den Informationen, die von den AR An-wendungen verarbeitet und zur Verfugung gestellt werden,geschieht durch unterschiedlichste Technologien. Eine Klas-sifizierung der verschiedenen Moglichkeiten wird von Car-mingniani et al. [6] ubernommen und erweitert. Der Punkt

”Implizit“ wurde hinzugefugt.

• Multimodal

• Hybrid

• Kollaborativ

• Tangible

• Implizit

Die multimodalen User Interfaces vereinen verschiedene Ein-gabe- beziehungsweise Steuerungsmoglichkeiten. Sie kombi-nieren die Eingabe durch reale Objekte mit naturlich vor-kommenden Formen der Interaktion wie Sprache, Gestenoder Blicken [8]. Das Feld der multimodalen Techniken istbreit gefachert und verwandt mit den Hybriden Interfaces.Bei diesen wird eine flexible Plattform angeboten bei der ver-schiedene Moglichkeiten der Interaktion angeboten werdenund gleichzeitig genutzt werden konnen. Der Mehrbenutzer-betrieb ist ein guter Einsatzbereich fur Hybride Interfaces dahier jeder Nutzer seine praferierte Technologie nutzen kann.Die kollaborativen Interfaces legen besonderen Wert auf ge-meinsame Interaktion. Hierunter fallen beispielsweise Teilenvon Inhalten und das gemeinsame und gleichzeitige Bearbei-ten. Die Tangible User Interfaces (TUIs) sind eng verwandtmit den multimodalen Interfaces. Hier wird ein reales Ob-jekt in seinen raumlichen Eigenschaften manipuliert. DieseVeranderungen werden mittels Trackingtechnologien erfasstund in Befehle umgesetzt.

In den oben genannten Klassen der Interaktion werden wirddie Interaktion explizit durch Manipulation von Objekten,durch Gesten oder durch Befehle reprasentiert. Eine wei-tere Unterscheidung kann insoweit getroffen werden, dassdie Interaktion implizit durch automatisch erfasste Sensor-daten realisiert wird. Hierzu gehoren Sensoren die Tempe-raturen, Positionen, Richtungen oder Biosignale abgreifen.Diese Form der Interaktion ist beispielsweise im Bereich Am-bient Assistent Living interessant, da z.B. Signale wie EKGoder Temperatur dazu genutzt werden konnen, gesundheits-spezifische Informationen an Displays anzuzeigen oder Maß-nahmen einzuleiten.

Die beschriebenen Techniken werden genutzt, um die ARAnwendung explizit zu steuern aber auch implizit von derSoftware beziehungsweise dem Service um Daten zu sam-meln und moglichst nutzliche und angepasste Informationenbereitzustellen. Mehr Details zu den verschiedenen Techni-ken werden im Abschnitt 2 erlautert.

1.3.2 PräsentationDie Darstellung der Informationen kann durch unterschied-lichste Techniken geschehen. Im Allgemeinen werden visuelleMedien zur Prasentation genutzt. Nichtsdestotrotz gibt es,wie auch bei den Interaktionsmoglichkeiten, weitere Artenwie die Daten dem Nutzer zur Verfugung gestellt werdenkonnen. Denkbar waren Oberflachen, die eine taktile Ex-ploration anbieten und somit Menschen mit eingeschrankterSehfahigkeit die Nutzung dieser ermoglichen wurden. Eben-so ist eine Audioausgabe umsetzbar. Neben diesen sind, wieeingangs genannt, speziell die visuellen Technologien weitverbreitet. Aufgrund der weiten Verbreitung wird im Fol-genden auf die visuellen Techniken eingegangen. Die hiervorgenommene Klassifikation lautet wie folgt:

• Head Mounted Displays (HMDs)

• Handheld Displays

• Spatial Augmented Reality (SAR)

Bei Head Mounted Displays werden die Bildschirme mit ver-schiedensten Techniken am Kopf angebracht. Beispielreali-sierungen sind die Videobrille oder ein Helm mit integrier-tem Display. Diese Kategorie lasst sich in zwei weitere Un-terkategorien unterteilen. Video see-through und optical see-through. Beide Techniken reichern die Realitat mit zusatzli-chen visuellen Attributen an. Die erste fugt die Daten, mitdenen die Realitat angereichert werden soll, einem Echtzeit-video hinzu. Die zweite uberlagert die reale Welt mit aufeinem Display dargestellten Daten. Hierbei ist zu beachten,dass auf dem Display nur die zusatzlichen Daten dargestelltwerden. Die Wirklichkeit wird durch das Display betrachtet.Unter die Kategorie Handheld Displays fallen Smartphones,Tablets und die alteren PDAs. Hier liegt großes Potential dadie beiden erstgenannten weite Verbreitung finden und auchentsprechende Kamera-, Display- und Sensortechnik besit-zen. Spatial Augmented Reality setzt auf ein anderes Dar-stellungskonzept. Hier werden Videoprojektoren und Holo-gramme zur Darstellung sowie Radio Frequency Tags undandere Tracking Technologien verwendet um graphische In-formationen direkt auf physikalischen Objekten anzuzeigenohne dafur ein herkommliches Display zu benutzen [8]. Wei-tere Informationen zu den Prasentationstechnologien sindunter Kapitel 3 zu finden.

Der nachste Abschnitt widmet sich den verschiedenen Inter-aktionsmoglichkeiten. Die Techniken werden detailliert be-schrieben und evaluiert. Kapitel 3 beschreibt verschiedenePrasentationsformen mit ihren Vor- und Nachteilen. Zu al-len Themen wird der aktuelle Forschungsstand aufgezeigtund Perspektiven erlautert. Abschnitt 4 nennt verwandteArbeiten. In Kapitel 5 werden die Ergebnisse der Arbeit zu-sammengefasst.

2. INTERAKTIONDie Interaktion in der Augmented Reality aber auch mitanderen Nutzern ist ein wichtiger Aspekt von AR Anwen-dungen. Im Folgenden werden von den in 1.3.1 genanntenKlassen exemplarisch mulitmodale und Tangible User Inter-faces beschrieben. Hybride und kollaborative UIs sind Ab-anderungen dieser beiden beziehungsweise verfeinern sie in

einer Weise so dass ein Mehrbenutzerbetrieb moglich oderder nahtlose Wechsel zwischen den Interaktionsarten mog-lich ist. Sie setzen sich meist aus Reprasentationen der multi-modalen User Interfaces zusammen. Der Fokus liegt deshalbim Folgenden auf den eingangs genannten Klassen. Nach ei-ner Beschreibung der jeweiligen Technik werden sie hinsicht-lich des aktuellen Entwicklungsstand, der Genauigkeit derInteraktion sowie notwendigen Verbesserungen evaluiert.

2.1 Mulitmodale InterfacesUnimodale Benutzerschnittstellen bieten dem Nutzer nureine Eingabemoglichkeit. Klassische Beispiele hierfur sindTouch-Screens, Tastatur, Maus oder Stifteingabe. Multimo-dale User Interfaces hingegen vereinen verschiedene Tech-niken der Interaktion in einer Anwendung und ermoglichendem Nutzer eine naturlichere, weniger anstrengendere, ge-nauere und weniger fehlerhafte Interaktion dadurch, dassmehrere Eingabekanale gleichzeitig aber koordiniert inter-pretiert werden [7]. Diese Interpretation beziehungsweise Ver-arbeitung kann umgebungsabhangig sein (z.b. ist Sprach-steuerung aufgrund den geringeren Umgebungsgerauschenbesser fur Anwendungen in Gebauden geeignet) aber auchvon anderen Faktoren des Kontexts abhangen. Die multi-modalen Ansatze - vorallem Kombinationen mit Blick- undSprachsteuerung sowie Brain Computer Interfaces - bietendem Nutzer ebenfalls die Moglichkeit, eine Freihandnavi-gation zu vollziehen, was in manchen Domanen notwendigsein kann. Als Beispiel kann hier eine Produktprasentati-on genannt werden, die einerseits per Sprachsteuerung aberauch per Fernbedienung moderiert werden kann. Der genutz-te Modus kann davon abhangen, ob der Prasentierende dasProdukt in den Handen halt und beschreibt (Sprachsteue-rung) oder aber auf die Leinwand verweist (Fernbedienung).

Ein Problem das mit den oben genannten Techniken auftritt,sind ungewollt ausgeloste Interaktionen. Dieser Effekt wird

”Midas Touch“ genannt und stellt ein generelles Problem bei

naturlichen Interaktionsformen dar. Billinghurst et al. [2]losen dieses Problem fur Blicksteuerung mit einem zusatzli-chen Gerat. In ihrer Losung wird ein Paddel uber ein Objektbewegt mit dem interagiert werden kann. Die Sprachsteue-rung ist dann fur dieses Objekt aktiviert. Der Einsatz einesweiteren Gerates ist in abgegrenzten Domanen praktikabel(wie z.B. Prasentation im Smart Office). Wenn der SmartSpace jedoch Freihandigkeit erfordert, kann diese Losungmit einem zusatzlichen Gerat nicht eingesetzt werden. Einanderer Ansatz mit dem versucht wird den“Midas Touch“ zuunterbinden, wurde von Lee et al. [14] vorgestellt. Hier wirdein halber Augenschlag (

”half-blink“) genutzt, um eine Ak-

tion einzuleiten beziehungsweise zu bestatigen. Diese Unter-scheidung zwischen gewollten Interaktionen und Alltagsbe-wegungen wird zukunftig noch Forschungsgegenstand sein.Heutige Losungen setzten auf das in den beiden Beispielengenannten Prinzipien, dass die Aktion gestartet wird, wennentweder eine vorhergehende Aktion mit einem externen Ge-rat vollzogen wurde oder aber eine unnaturliche Geste wiez.B. der

”half-blink“ vorausgegangen ist. Im Folgenden wer-

den exemplarisch die Blicksteuerung, die Gestensteuerungund Brain-Computer-Interfaces naher beleuchtet mit denenein multimodales User Interfaces gestaltet werden kann.

2.1.1 Blicksteuerung

Die Interaktion in Smart Spaces mittels Blicksteuerung isteine Moglichkeit, freihandig mit Objekten zu interagierenund gleichzeitig schnell und intuitiv zu handeln. Durch ver-schiedene Trackingmethoden wird die Bewegung des Augesoder des Kopfes aufgezeichnet und in entsprechende Aktio-nen umgewandelt. Ein bewahrter Ansatz ist es, das Blickfeldin Bereiche zu unterteilen und die Reihenfolge der tangiertenSektoren als Gesten zu interpretieren. Diese Folgen werdendann als Befehl interpretiert. Alternativ dazu kann durch ex-plizite Fixation mit der Umgebung interagiert werden. Pro-blematisch ist hier der bereits genannte

”Midas-Touch“. Mit

zusatzlichen Interaktionstechniken (vgl. [2]) oder dem”half-

blink“ kann dieses Problem aufgelost werden. Da die bewuss-te Augenmobilitat in Fixation und Sakkaden von Menschzu Mensch unterschiedlich ist, muss das Tracking der Bewe-gungen so prazise sein, um diesen Effekt zu erkennen undzu behandeln. Die Auswahl passender Kamera- und Erken-nungstechnik sowie Algorithmen ist essentiell. Die verschie-denen Trackingtechnologien, die bei der Blicksteuerung ein-gesetzt werden, lassen sich in mobile und externe Systemeeinteilen. Bei den mobilen Systemen wird auf Head-MountedEye Tracker gesetzt, die ein anwenderzentriertes Auswertender Blickbewegungen mittels einer Kamera ermoglichen. DieHardware die hierfur eingesetzt wird, ist bestenfals klein,leicht und beintrachtigt das Blickfeld des Benutzers nicht.

Eine weitere Art des mobilen Eye-trackings ist die Elek-trookulografie (EOG). Das Abgreifen der Augenbewegungkommt hier ohne Kamera aus. Das Blickfeld des Nutzerswird also nicht durch eine Kamera eingeschrankt. Hier wer-den die durch den Augenmuskel erzeugten Spannungen mitElektroden abgegriffen und in die entsprechende Bewegungubersetzt. Hier liegt der Vorteil in dem Wegfall einer Kame-ra die die Pupillen- beziehungsweise Augbewegungen erfasstund somit ein eingeschranktes Blickfeld kein Problem ist.Ebenso ist in dunklen Umgebungen eine Erfassung ohne Pro-bleme moglich [5]. Externe Systeme nutzen eine Augenkame-ra. Diese ist je nach Bauart entweder mechanisch beweglich(Pan-Tilt-System) oder fest montiert (Tilting-Mirror). BeiLetzterem werden die Kopf- und Augenbewegungen durchbewegliche Spiegel erfasst und auf die Kamera geleitet. Einweiterer Vertreter der externen Systeme sind Fixed-Camera-Gerate. Hier wird der Kopf fixiert und die Kamera auf diesenausgerichtet.

Bei allen Systemen die Augenbewegungen mit Kameras er-fassen, muss darauf geachtet werden, dass ein Abgreifen beischlechten Lichtverhaltnissen notwendig sein kann. Hier mussentsprechende Kameratechnologie eingesetzt werden. Zusatz-lich zu Kameras zur Erfassung der Augenbewegung wird ofteine Blickfeldkamera eingesetzt, deren Bild genutzt wird, umObjekte zu erfassen, die einerseits vom User genutzt werdenund auf die sich andererseits die Informationen beziehen,mit denen die Realitat angereichert wurde.

In Smart Spaces hat die Blicksteuerung erhebliches Potenti-al um AR Anwendungen zu steuern. Augenbewegungen sindin nahezu jedem Kontext abgreifbar und sind im offentlichenLeben ohne Storungen der Mitmenschen einsetzbar. Proble-matisch ist der Midas-Touch der einerseits durch zusatzlicheGerate gelost werden kann, andererseits auch durch Techni-ken wie den

”half-blink“. Bei letzterem besteht aber immer

noch die Gefahr, dass eine Aktion ungewollt ausgelost wird.

Besonders fur Menschen mit eingeschrankter Beweglichkeitkann diese Technik einen erhebliche Verbesserung der Le-bensqualitat bieten. Neben dem

”Midas-Touch“ ist auch die

immer noch ungenaue und gleichzeitig einfache und nicht-storende Erfassung der Pupillenbewegungen Forschungsge-genstand [12].

2.1.2 GestenerkennungGesten sind seit je her eine Moglichkeit mit seiner Umweltzu kommunizieren. Auch im Bereich der Augmented Realityund damit in Smart Spaces wird versucht Gestenerkennungs-systeme zu nutzen um mit realen Objekten zu interagieren.Hierzu werden die Bewegungen von verschiedenen Korper-teilen erfasst und ausgewertet.

Die technische Umsetzung der Bewegungserfassung kann mit-tels verschiedener Trackingtechnologien realisiert werden. Spe-ziell die optischen Verfahren sind aufgrund der niedrigenKosten von Videokameras und Speichermedien weit verbrei-tet [19]. Hier wird zwischen

”inside-out“ und

”outside-in“ An-

satzen unterschieden. Erstere haben die Kamera am Nutzerinstalliert und analysieren die Bewegungen. Bei

”outside-

in“ Systemen sind die Kameras nicht am Nutzer montiertund erfassen von außerhalb dessen Gesten. Elektromecha-nische oder magnetische Sensoren (z.B. in Controllern oderDaten-Handschuhen) werden ebenfalls zur Gestenerkennunggenutzt.

Im Allgemeinen basiert die Auswertung auf zwei Kernkon-zepten: Positionen und Bewegungsmustern. Bei ersterem wirddie Stellung der Hand (oder der Finger) ausgewertet, beiletzterem die Bewegungsmuster die zu einer bestimmten Po-sition fuhrten. Auch beim Bewegungstracking muss die An-wendung unterscheiden konnen ob tatsachlich eine Aktionmittels Geste gestartet werden kann, oder aber ob die Be-wegung aus einem naturlichen Zweck entstanden ist.

Bei markerbasierten Systemen achtet die Kamera nicht di-rekt auf die Bewegungen des Korpers sondern verfolgt dieMuster von sogenannten Marken. Ein Marker kann zum Bei-spiel eine Farbmarkierung sein, auf die die Kamera achtet.Im Gegensatz zu den Datenhandschuhen ist diese Technikweniger storend, kommt aber dennoch nicht ohne zusatz-lich Gerate aus. Die Kameras konnen einerseits extern an-gebracht sein (vgl. Kinect oder Wii) aber auch als mobilesGerat funktionieren (vgl. Abb. 2).

Der Vorgang der Erkennung wird von Rautaray et. al [21]in drei Kernbereiche unterteilt:

1. Detektion

2. Tracking

3. Interpretation

Der erste Schritt besteht darin, dass das System das zu ver-folgende Objekt erkennt und registriert. Im zweiten Teil wirddas Objekt verfolgt. Der letzte und nicht weniger wichtigeSchritt ist die richtige Interpretation der Daten die durchdas Tracking zur Verfugung gestellt wurden [21]. Fur jedenTeilbereich existieren verschiedene Auspragungen die ent-sprechende Vor- und Nachteile in Genauigkeit, Performance

und Komplexitat beziehungsweise Funktionsumfang besit-zen. Ein Gestenerkennungssystem, das eine intuitive Inter-

Abbildung 2: Mobiles Gestenerkennungssystem vonMicrosoft Research3

aktion in der Augmented Reality ermoglicht, kann einerseitsmehrere Gesten im Allgemeinen und diese im Speziellen beiallen in der Domane vorkommenden Verhaltnissen erkennen.Hierunter fallen wechselnde Lichtverhaltnisse aber auch Ver-deckung. Bei mobilen Geraten, die Kameras nutzen, wirddieser Aspekt weitaus wichtiger als bei Systeme die in defi-nierten Umgebungen wie Smart Factorys oder Smart Homesarbeiten. Hier konnen die Verhaltnisse mehr oder wenigerals konstant beziehungsweise erwartbar angenommen wer-den. Weiterhin muss auf die Performance der Erkennung ge-achtetet werden. Eine Echtzeitverarbeitung und -erkennungist in vielen Fallen wunschenswert da der Nutzer sofortigesFeedback erwartet. Wenn die Daten leicht verzogert ankom-men ist eine angenehme und vor allem intuitive Nutzungnicht gegeben.

Zusammenfassend ist die richtige Auswahl der Technik undAlgorithmen ist enorm wichtig. Ein weiterer Punkt der zubeachten ist, ist der Fakt dass Gestenerkennung Bewegungenwie zum Beispiel der Hand voraussetzt. In der Offentlichkeitkonnte dies von Gesellschaft als storend empfunden werdenund den Einsatz behindern.

2.1.3 Brain Computer InterfacesDie Umgebung per Gedanken steuern - was jetzt noch in denBereich Science-Fiction fallt, konnte im Bereich der Aug-mented Reality Anwendungen bald Realitat sein. Wie von[13] vorschlagen, konnen Brain Computer Interfaces (BCIs)nutzliche Gerate im Bereich Mensch-Computer-Interaktionund damit auch im Bereich AR werden. Speziell fur Men-schen mit Behinderungen, zum Beispiel an Locked-In-Syndromleidende Personen, profitieren von der Entwicklung solcherInterfaces da sie ihnen zusatzliche Interaktionsmoglichkeitenbieten (vgl. [26]). Goldberg et. al verweisen in [10] auf einenAnwendungsfall im Militar bei dem die Sicht eines Armee-mitglieds je nach Wunsch angereichert wird. In [22] wurdeein System entwickelt, mit dem die Authentifizierung an ei-nem Computer ermoglicht wurde. Diese und weitere Anwen-dungsfalle sowie Designentwurfe zeigen, das sich BCIs vonScience-Fiction hin zu einem sich langsam etablierende UserInterface wandeln. Wenn entsprechende Hard- und Softwa-re zur Verfugung steht, konnte umgebungsunabhangig mit

3http://research.microsoft.com/en-us/news/features/uist2012-100812.aspx

Objekten interagiert werden, die mittels AR mit Informa-tionen angereichert sind. Falsch interpretierte Interaktionenwie der Midas-Touch waren bei einem perfekt funktionieren-dem und gut trainiertem System ebenfalls ausgeschlossen.Folgende vier wichtige Punkte werden hier kurz erlautert:

• Training

• Erfassung/Hardware

• Mustererkennung

• Interpretation

Da die Hirnaktivitat eines jeden Menschen verschieden istmussen viele Brain Computer Interfaces trainiert werden.Das heißt, richtige und falsche Befehlsmuster mussen imSystem hinterlegt werden. Mit diesen Daten wird eine spa-tere Interpretation von Daten moglich. Das Training kannzum Beispiel mit einem Trainingsdatensatz oder einem Ka-librationsprogramm geschehen. Zur Erfassung sind Elektro-den notwendig, die die Potentialanderungen abgreifen. Die-se mussen genau, sicher positioniert und gunstig sein. Wieeingangs genannt, sind die Signale von Nutzer zu Nutzer un-terschiedlich. Zudem besteht ein Signal nie direkt aus dem

”gedachten“ Befehl sondern ist von anderen Signalen uberla-

gert. Das BCI muss in der Lage sein, entsprechende Musterzu erkennen und dabei Artefakte, das heißt ungewunschteSignalanteile, zu ignorieren. Diese fertig vor-verarbeitetenSignale mussen dann interpretiert werden und losen die ent-sprechende Aktion aus.

Abbildung 3: Designentwurf eines portablen BCI4

Abbildung 3 zeigt den Entwurf eines solchen Gerates. Dermomentane Stand der Technik ermoglicht es, einfache Com-puterspiele wie Pong zu steuern ([4]). Zukunftig konntenBCIs eine wichtige Rolle in Smart Spaces spielen da sie ei-ne Freihandsteuerung ermoglichen die bei gutem Traininggenau und schnell benutzt werden kann. BCIs fur die In-teraktion mit realen Objekten in nahezu allen denkbarenBereichen einsetzbar. Lichtverhaltnisse oder Gerauschkulis-sen storen die Signalverarbeitung nicht. Es ist zu beachten,dass auch hier die Interfaces gesellschaftlich akzeptiert wer-den mussen, um Verbreitung zu finden. Es ist denkbar, dass

4http://www.neurosky.com/

der User Hemmungen hat, Gerate zu benutzen, die in seineGedankenwelt eindringt[8]. Speziell im Bereich des AmbientAssistant Living konnten die BCIs dazu dienen, AR Anwen-dungen auch Menschen mit Behinderung zuganglich zu ma-chen und deren Lebensqualitat zu steigern. Alle genanntenUmsetzungen sind jedoch von einfachstem Niveau. Weite-re Forschung in allen Bereichen der BCI ist notwendig, ummarktreife zu erlangen.

2.2 Tangible User InterfacesTangible User Interfaces (TUI) bezeichnen Benutzerschnitt-stellen bei denen reale Objekte zur Interaktion mit AR An-wendungen genutzt werden konnen. Die Veranderung undSteuerung der Informationen die angereichert werden, solldurch die Nutzung von realen und gewohnten Objekten,

”Tangibles“, intuitiv gestaltet werden. Die Daten und ihre

Reprasentation sollen”per Hand“ und in Ubereinstimmung

mit der Erfahrung des Nutzers verandert werden [8]. Die ty-pische Sprachbarriere die GUIs zugrunde liegt, kann hier um-gangen und aufgelost werden. Aber auch hier spielen sozial-und kulturwissenschaftliche Aspekte bezuglich der Bedeu-tung von Objekten eine Rolle. Sie beeinflussen die Erwar-tungen an die angezeigten Informationen in Abhangigkeitdes genutzten Objekts und der Manipulation an diesem [6].Eine Moglichkeit, dieses Problem zu losen konnte die Pro-jektion von Hilfsinformationen sein [25]. In Forschungs- undAnwendungsarbeiten die dessen Ansatz verfolgen werden In-formationen haufig direkt auf die Tangibles projiziert bezie-hungsweise in nachster Umgebung wie zum Beispiel einemMulti-Touch-Tisch dargestellt. Um eine Nutzung von Ob-jekten zu ermoglichen, d.h. sie zur Steuerung der AR An-wendung zu nutzen, ist eine Markierung dieser notwendig.Mogliche technische Umsetzungen hierfur sind LEDs, RFID-Chips, Farbmarkierungen oder Barcodes.

Eine weitere Moglichkeit, prasentiert von Mistry et al. [17],ermoglicht es, nicht-praparierte Objekte zur Interaktion zunutzen. Hierzu werden Objekte mittels einer Kamera identi-fiziert. Es konnen verschiedene Tangibles unterschieden wer-den und somit kann der Multi-User Einsatz ermoglicht wer-den. Als weiteres Feature kann die Kamera bestimmte Ob-jekt identifizieren. Das System kann zum Beispiel erkennen,dass das aufgelegte Objekt ein Studentenausweis ist unddementsprechend Informationen anzeigen, die fur Studenteninteressant sein konnten. Nachteil solcher Losungen ist, dasskeine Kontextinformationen uber die Identitat und auch His-torie des Users hinterlegt werden konnen, da dass genutzteObjekt wechseln und nicht eindeutig wiedererkannt werdenkann. Hier ist wieder eine Markierung mittels RFID-Chipoder eine vorherige Authentifizierung notwendig.

Nachdem Objekte beziehungsweise Tangibles vom Systemerkannt wurden mussen die Parameter abgefragt werden,von denen eine Aktion bzw. die Interaktion abhangt. Daskonnen zum Beispiel Lage, Ausrichtung oder Bewegungs-muster sein. Dieses Tracking der Objekte geschieht durchzwei grundlegende Techniken. Marker- bzw. Sensorbasiertoder optisch [27]. Die vielen Realisierungen der ersten Kate-gorie haben Vor- und Nachteile. Zum Beispiel sind magne-tisch getrackte Tangibles leicht aber storanfallig fur durchandere elektrische Gerate [27]. Kameratracking identifiziertObjekte und verfolgt die Parameter mittels Grafikalgorith-men. Hier darf die Blickrichtung der Kamera nicht bezie-

hungsweise nicht lange verdeckt sein. Kurze Verdeckungenoder Uberlagerungen konnen durch entsprechende Metho-den aus dem Bereich Computer Vision kompensiert werden.Zusatzlich konnen beim optischen Tracking Farben als wei-terer Parameter genutzt werden.

Die eigentliche Interaktion mit den Tangibles kann einer-seits, wie bereits beschrieben, uber spatiale Anderung ge-schehen, aber auch durch Gesten geschehen. Die spatialeAnderung wird haufig in Domanen eingesetzt, die eine di-rekten topologischen Bezug zwischen Objekt und Datenre-prasentation herstellen konnen. Hier sind zum Beispiel dieLandschaftsplanung, Stadtplanung[24] oder Architektur zunennen. Die Tangibles konnen Raume, Hauser oder Pflanzenreprasentieren. Werden die Objekte nun auf der Interakti-onsflache bewegt, andert sich ein dargestelltes Bild oder eine3D-Modell entsprechen der neuen Anordnung. Eine einfacheund auch kollaborative Interaktion ist in solchen smartenPlanungsumgebungen moglich.

Bei der Gestensteuerung wird die Bewegungsanderung auf-gezeichnet und die Informationsdarstellung beziehungsweiseReprasentation dementsprechend angepasst. Hier ist zu be-achten, dass immer die Bewegung des Tangibles erfasst wirdund es keine Gesten sind die ohne den Einsatz von realenObjekten geschehen (Handschuhe, Marker an Fingern usw.sind auch im Bereich Tangibles einzuordnen). Kamerabasier-te Gestensteuerung ohne Tangibles wurde in Kapitel 2.1.2genauer beschrieben.

Abbildung 4:”Reactable“ - Musikproduktion mit

Tangibles

Abbildung 4 zeigt ein System mit einem TUI (Rectable5

welches zur Musikproduktion verwendet wird. Die Objektewerden von Kameras erfasst, die unterhalb des Tisches ange-bracht sind. Entscheidend fur die Software sind die Position,die Anordnung aller Objekte und welche Seite nach untenzeigt. Entsprechend dieser Parameter wird Musik erzeugt.Eine AR Lernumgebung die Tangibles verwendet und nacheinem ahnlichen Prinzip funktioniert wurde von Patten et.al [20] vorgestellt.

Speziell in Domanen in denen die angereicherten Informa-tionen sich auf raumliche Sachverhalte beziehen, sind TU-Is zur Steuerung der Darstellungsform gut geeignet, da dieBewegungsmetapher gut umgesetzt werden kann. In Lern-

5http://www.reactable.com/

und Spielumgebungen, in denen die Tangibles Objekte re-prasentieren die von AR Anwendungen angereichert wer-den, sind die TUIs ebenfalls gut anzusiedeln. In Domanen,die keine explizite raumliche Reprasentation zur Verfugungstellen (bspw. Okonomie) ist es eine Herausforderung furdie Forschung entsprechende Interaktionsmoglichkeiten zuschaffen die TUIs und AR vereint [9]. Als Fernbedienungfur Services oder auf Displays angezeigte Informationen so-wie 3D-Projektionen sind Tangibles ebenfalls gut geeignet.Hier kann mit vor-implementierten Gesten die Darstellung(z.b. Heranzoomen eines Bildausschnitts) bzw. die Service-ausfuhrung (z.b. Lautstarke eines Audiostreams) gesteuertwerden.

3. INFORMATIONSDARSTELLUNG UND -PRÄSENTATION

Die Prasentation von digitalen Informationen ist neben derInteraktion der zweite Hauptbaustein von Augmented Reali-ty Anwendungen. Jedes Objekt, das mit virtuellen Informa-tionen angereichert werden kann, ist in der Anwendung re-gistriert. Displaytechniken sind nun darauf angewiesen, dieseObjekte zu erkennen und dementsprechende Informationendarzustellen. Folgende Abschnitte werden sich den einge-setzten Anzeigetechniken widmen und diese naher beschrei-ben sowie diskutieren. Notwendige Forschungsfelder und Zu-kunftsvisionen werden zusatzlich aufgezeigt. Es ist zu be-achten, dass die Realitat nicht nur mit Bildern angereichertwerden kann, sondern auch mit Audioinhalten. Besondersfur Menschen mit Sehbehinderungen (Ambient Assistant Li-ving) aber auch in Domanen, in denen es nicht moglich ist,Bilder darzustellen, ist dies eine Moglichkeit, dem NutzerInformationen zur Verfugung zu stellen.

Die visuelle Anreicherung von realen Objekten in der Aug-mented Reality ist stark verbreitet. Die dazu notwendigenGerate lassen sich in die bereits genannten Klassen

”Head

Mounted Displays (HMD)“,”Spatial Augmented Reality Dis-

plays“ und”Handheld Displays“ einteilen.

3.1 Head Mounted DisplaysDiese Kategorie von Displays nutzt Gerate, die der Nutzerals Helm, Brille oder Ahnlichem tragt. Die in der AugmentedReality verfugbaren Informationen werden auf Flachen andiesen Geraten projiziert. Um einen Einsatz zu ermoglichen,der den User nicht behindert mussen die Gerate leicht, dieDarstellung prazise und die Verarbeitung echtzeitfahig sein.Um einen Einsatz im (privaten) Alltag akzeptabel zu ma-chen, muss auch hier beachtet werden, dass sie modisch ak-zeptabel sind. Die Funktionsweise lasst sich in zwei Bereicheunterteilen,

”video see-through“ und

”optical see-through“.

Abbildung 5 zeigt ein video see-through HMD. Hierbei wirddie Umgebung mittels am Gerat montierten Kameras auf-gezeichnet und mit den zusatzlichen digitalen Informationenauf einem Display im Inneren des Gerats angezeigt. Auffal-lender Nachteil solcher Gerate ist, dass die naturliche Inter-aktion mit der Umwelt durch ein eingeschranktes Blickfeldeingeschrankt wird. Weiterhin muss die Anreicherung undDarstellung der virtuellen genauso wie der realen Informa-tionen in Echtzeit vollzogen werden.

Die zweite Kategorie, optical see-through Displays, umgeht

6http://sensics.com/

Abbildung 5: xSight HMD by Sensics, Inc.6

diese Probleme indem nur die digitalen Informationen proji-ziert werden. Hierfur ist vor dem Sehbereich des Nutzersein durchsichtige Projektionsflache angebracht, durch dasdie reale Welt wahrgenommen werden kann, auf dass abergleichzeitig die zusatzlichen Informationen aus der Augmen-ted Reality projiziert werden. Abbildung 6 zeigt das promi-

Abbildung 6: Googles Project Glass7

nente und aktuelle Beispiel”Project Glass“ von Google. Die

Umgebung wird durch die Brille wahrgenommen. Zusatzli-che Daten werden auf einem Display dargestellt (Bildmit-te). Weitergehende Ansatze gehen dahin, dass hierfur Kon-taktlinsen genutzt werden konnten, um die Daten darzustel-len[15]. Diese waren kaum sichtbar und wurden noch wenigerim Alltag storen (bei entsprechender Vertraglichkeit). EinNachteil der optical see-through Technik ist, dass die Projek-tion beziehungsweise die Qualitat der Projektion abhangigvon den Umgebungsbedingungen ist. Helles Licht aber auchstarker Kontrast in der realen Welt kann eine ausreichendgute Projekten erschweren wenn nicht sogar verhindern.

3.2 Spatial Augmented Reality”Spatial Augmented Reality“ verzichtet darauf, die digitalen

Daten direkt in den Sehbereich des Nutzers zu integrieren.Hier werden Video-Projektoren oder Hologramme in Verbin-dung mit Tracking Technologien genutzt um die Daten di-rekt auf realen Objekten darzustellen. Vorteil dieser Technikist, dass der Nutzer kein zusatzliches Gerat wie eine Brilletragen muss. Abbildung 7 zeigt eine Anwendung der SARdie Video Projektoren nutzt und Architekturdetails auf einObjekt projiziert. Vorteile dieser Technik liegt darin, dasmehrere Nutzer gleichzeitig die digitalen Informationen se-hen konnen. Zu beachten ist, dass die Projektionen bezie-hungsweise Hologramme Blickwinkel abhangig sein konnenund der Mehrbenutzerbetrieb dadurch eingeschrankt wird.

3.3 HandheldsNeben den genannten Input- und Outputdevices wie Da-tenbrillen oder Tangibles bleibt noch die große Gruppe der

7https://plus.google.com/+projectglass/

Abbildung 7: ShaderLamps with Taj Mahal[3]

Tablets und Smartphones oder allgemein Handhelds zur Be-trachtung ubrig. Durch die breite Verbreitung dieser Geratein Verbindung mit der guten technischen Ausstattung sindsie sehr gut dazu geeignet, Augmented Reality Anwendun-gen zum Durchbruch zu verhelfen.

Durch die Trackingtechnologien (Drahtlosnetzwerk-Triangulationoder GPS), die hohe (und steigende) Rechenleistung und dieserienmaßig eingebauten Kameras besitzen sie alles was not-wendig ist, um mit Objekten zu interagieren die mit Infor-mationen aus der Augmented Reality verbunden sind.

Es ist sowohl die Interaktion (Touchscreen, Kamera fur Ges-tenauswertung, Positionsdatenauswertung, Sprachsteuerungvia Mikrophon aber auch Tangible) als auch das Abrufen vonInformationen (video see-through, Lautsprecher bzw. Kopf-hohrer fur Audioinformationen) moglich. Smartphones mitihrer Fulle an Sensoren wurden sich auch anbieten, um alsTangibles zu fungieren. Eine eindeutige Identifikation kannrealisiert werden, ebenso ist Lage-, Richtungs- und Positi-onssensorik und die notwendigen Schnittstellen zu Kommu-nikation vorhanden.

Weitere Gerate die eventuell notwendig sind, um andereInteraktionstechniken zu nutzen (z.B. portables EEG oderEOG-Brille) konnen ebenfalls uber die serienmaßig vorhan-denen Schnittstellen angebunden werden. Weiterhin sind die-se mobilen Gerate gesellschaftlich akzeptiert und konnen innahezu allen Lebenslagen eingesetzt werden. Es existierenbereits AR-Anwendungen in Form von AR Browsern furSmartphones. Durch die Verbreitung und Leistung konnenviele Objekte angereichert werden und die Informationenmittels dieser Gerate abgerufen werden. Die Interaktion mitrealen Objekten kann hier einfach und unkompliziert erfol-gen.

4. RELATED WORKEs existieren viele Studien, die sich mit Augmented Reali-ty Techniken beschaftigen. Grundlagenarbeit im Bereich derKlassifizierung leisteten Milgram et al. [16] und Azuma etal.[1].

”The Handbook of Augmented Reality“[8] gibt einen

guten und auch breiten Uberblick uber das gesamte Gebietohne zu detailliert zu werden. Einzelne Fallbeispiele werdengenannt und beschrieben. Carmigniani et. al [6] bieten eben-falls einen guten Uberblick uber die vorhandenen Techniken.In [2] und [11] und werden verschiedene Interaktionstechni-ken mit ihrer Funktionsweise vorgestellt. [27] zeigt Trendsund die Entwicklung im Bereich Augmented Reality bezo-gen auf Displays, Tracking und Interaktion auf.

5. CONCLUSION

In einer Welt, in der Alltagsgegenstande immer mehr mitein-ander vernetzt sind, in der Sensoren und Aktoren allgegen-wartig sind beziehungsweise sein konnen und elektronischeGerate wie Tablets und Smartphones weit verbreitet sind,kann die Augmented Reality in enormem Maße dazu bei-tragen, die Lebensqualitat zu steigern und den Umgang mitInformationen sowohl im privaten als auch im geschaftlichenUmfeld zu erleichtern. Hier wurden nach einer kurzen Ein-fuhrung Interaktions- und Anzeigetechniken vorgestellt undsomit ein Uberblick uber das Feld der Augmented RealityTechnologien geschaffen.

Die unter Kapitel 2 genannten Techniken wie Blick- undGestensteuerung, aber auch zukunftige Brain Computer In-terfaces, sind dazu geeignet, in AR Anwendungen eingesetztzu werden. Bei allen genannten UIs ist die Genauigkeit undEchtzeitreaktion wichtig um dem Nutzer ein unmittelbaresund vor allem das erwartete Feedback zu garantieren. Zu-dem muss der“Midas Touch

”vermieden werden. Die Gesten-

steuerung erfodert ein genaues Tracking der Bewegungen so-wie gute Algorithmen zur Interpretation dieser. BesonderesAugenmerk ist hier auf die verwendete Technologie zu legenda hier entscheidende Vor- und Nachteile liegen, die der Do-mane entsprechend entscheidend sind. Das genaue Trackingist auch bei der Blicksteuerung und der damit einhergehen-den Aufzeichnung der Augenbewegung wichtig. Hier habensich bisher optische Verfahren verbreitet, die Elektrooku-lografie kann eine Alternative sein. Zudem muss beachtetwerden, dass ein optisches Tracking ohne spezielle Hardwa-re nur bei ausreichend guten Lichtverhaltnissen moglich ist.Brain Computer Interfaces als mogliche zusatzliche Interak-tionsform erfordern eine sehr gute Signalverarbeitung in denBereichen Erfassung, Vorverarbeitung, Merkmalsextraktionund Klassifikation. Ein Training des Gerats auf den Nutzerkann erforderlich sein um eine ausreichend gute Genauigkeitherzustellen. Wichtig ist bei der Konzeption einer Anwen-dung die Domane in der sie eingesetzt werden soll. Hiernachrichtig sich die Auswahl des oder der richtigen beziehungs-weise passenden User Interfaces.

Bei den verschiedenen Systemen zur Darstellung der Infor-mationen (vgl. Kapitel 3) aus der Augmented Reality spieltbisher die visuelle Prasentation der Daten eine Vorreiter-rolle. Mittels verschiedener Displaytechniken werden Bilderzur Verfugung gestellt. Hier wurden Head Mounted Displaysmit den beiden Klassen video see-through und optical see-through, die Spatial Augmented Reality and Handhelds vor-gestellt. Bei HMDs mit optical see-through ist die Darstel-lungsqualitat stark von der Umgebung abhangig. Klare Pro-jektionen und auch eine eventuell sich dem Blickfeld anpas-sende Position der Information sind erforderlich. Bei videosee-through besteht das Blickfeld komplett aus digitalen In-formationen was eine Uberlagerung mit Zusatzinformatio-nen einfacher macht. Eine gute Auflosung der Displays undKameras sowie eine Echtzeitverarbeitung ist hier essentiellum nicht zu schlechter bis hin zu gefahrlicher Interaktionzu fuhren. Die Spatial Augmented Reality mit den Projek-tionen und Hologrammen ist blickwinkelabhangig. Hier sindgute Projektionstechniken notwendig. Handhelds mir ihrerFulle von Technik konnen gut als optical see-through Dis-plays genutzt werden. Auch hier ist fur eine angenehme In-teraktion die Echtzeitfahigkeit notwendig.

In allen Bereichen, sowohl Interaktion als auf Prasentationist Forschungs- und Entwicklungsarbeit notwendig, um dieAugmented Reality zur Marktreife zu bringen.

6. REFERENCES[1] R. Azuma. A survey of augmented reality.

Presence-Teleoperators and Virtual Environments,4(August):355–385, 1997.

[2] M. Billinghurst, H. Kato, and S. Myojin. AdvancedInteraction Techniques for Augmented. pages 13–22,2009.

[3] O. Bimber, R. Raskar, and M. Inami. Spatialaugmented reality. Wellesey, Mass, 2005.

[4] B. Blankertz, G. Dornhege, M. Krauledat, K.-r.Muller, V. Kunzmann, and F. Losch. The Berlin Brain– Computer Interface : EEG-Based CommunicationWithout Subject Training. 14(2):147–152, 2006.

[5] A. Bulling, D. Roggen, and G. Troster. Wearable EOGgoggles: eye-based interaction in everydayenvironments. Journal of Ambient Intelligence andSmart Environments, pages 157–171, 2009.

[6] J. Carmigniani, B. Furht, M. Anisetti, P. Ceravolo,E. Damiani, and M. Ivkovic. Augmented realitytechnologies, systems and applications. MultimediaTools and Applications, 51(1):341–377, Dec. 2010.

[7] B. Dumas, D. Lalanne, and S. Oviatt. Multimodalinterfaces: A survey of principles, models andframeworks. Human Machine Interaction, pages 1–25,2009.

[8] B. Furht. Handbook of augmented reality. Springer,2011.

[9] L. Garber. Interfaces : Technology You Can Touch.Computing Now, 45:15–18, 2012.

[10] D. Goldberg and R. Vogelstein. Toward a wearable,neurally-enhanced augmented reality system.Proceeding FAC’11 Proceedings of the 6thinternational conference on Foundations of augmentedcognition: directing the future of adaptive systems,pages 493–499, 2011.

[11] W. Hurst and C. V. Wezel. Multimodal InteractionConcepts for Mobile Augmented Reality Applications.pages 157–167, 2011.

[12] A. Hyrskykari, H. Istance, and S. Vickers. Gazegestures or dwell-based interaction? Proceedings of theSymposium on Eye Tracking Research andApplications, (2010):229–232, 2012.

[13] J. C. Lee and D. S. Tan. Using a low-costelectroencephalograph for task classification in HCIresearch. Proceedings of the 19th annual ACMsymposium on User interface software and technology- UIST ’06, page 81, 2006.

[14] J.-y. Lee, H.-m. Park, S.-h. Lee, T.-e. Kim, and J.-s.Choi. Design and Implementation of an AugmentedReality System Using Gaze Interaction. 2011International Conference on Information Science andApplications, pages 1–8, Apr. 2011.

[15] a. R. Lingley, M. Ali, Y. Liao, R. Mirjalili, M. Klonner,M. Sopanen, S. Suihkonen, T. Shen, B. P. Otis,H. Lipsanen, and B. a. Parviz. A single-pixel wirelesscontact lens display. Journal of Micromechanics andMicroengineering, 21(12):125014, Dec. 2011.

[16] P. Milgram and H. Takemura. Augmented reality: Aclass of displays on the reality-virtuality continuum.Proceedings of Telemanipulator and TelepresenceTechnologies, 2351:282–292, 1994.

[17] P. Mistry, T. Kuroki, and C. Chang. TaPuMa: tangiblepublic map for information acquirement through thethings we carry. Proceedings of the First InternationalConference on Ambient Media and Systems, 2008.

[18] K. Navarro. Wearable, wireless brain computerinterfaces in augmented reality environments.International Conference on Information Technology:Coding and Computing, 2004. Proceedings. ITCC2004., (1):643–647 Vol.2, 2004.

[19] G. Papagiannakis. A survey of mobile and wirelesstechnologies for augmented reality systems. ComputerAnimation And Virtual Worlds (2008), pages 3–22,2008.

[20] J. Patten, H. Ishii, J. Hines, and G. Pangaro.Sensetable: a wireless object tracking platform fortangible user interfaces. Proceedings of the ACMConference on Human Factors in Computing Systems,pages 253–260, 2001.

[21] S. S. Rautaray and A. Agrawal. Vision based handgesture recognition for human computer interaction: asurvey. Artificial Intelligence Review, Nov. 2012.

[22] D. Schmalstieg, A. Bornik, G. Muller-Putz, andG. Pfurtscheller. Gaze-directed ubiquitous interactionusing a Brain-Computer Interface. Proceedings of the1st Augmented Human International Conference on -AH ’10, pages 1–5, 2010.

[23] K. Simsarian and K. Akesson. Windows on the world:An example of augmented virtuality. Interfaces, 1997.

[24] J. Underkoffler and H. Ishii. Urp: a luminous-tangibleworkbench for urban planning and design. Proceedingsof the SIGCHI conference on Human . . . , 1999.

[25] S. White, L. Lister, and S. Feiner. Visual hints fortangible gestures in augmented reality. 2007 6th IEEEand ACM International Symposium on Mixed andAugmented Reality, pages 1–4, Nov. 2007.

[26] J. R. Wolpaw, N. Birbaumer, D. J. McFarland,G. Pfurtscheller, and T. M. Vaughan. Brain-computerinterfaces for communication and control. Clinicalneurophysiology : official journal of the InternationalFederation of Clinical Neurophysiology, 113(6):767–91,June 2002.

[27] F. Zhou, H. Duh, and M. Billinghurst. Trends inaugmented reality tracking, interaction and display: Areview of ten years of ISMAR. 2008 7th IEEEACMInternational Symposium on Mixed and AugmentedReality, pages 193–202, Sept. 2008.