Transcript

Ubiquitous Computing(Ubiquitäre Informationstechnologien)Vorlesung im WS 06/07

Christian DeckerUniversität KarlsruheInstitut für TelematikTelecooperation Officewww.teco.uni-karlsruhe.de

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-2

Literatur, Fragen

Fragen zu dieser VorlesungWelche Alltagsgegenstände würden sich als Teil eines Wearable eignen?

Pflichtliteratur (Vorbereitung nächste Vorlesung)Jaarp Haardsen, BLUETOOTH—The universal radio interface forad hoc, wireless connectivity Ericson Review

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-3

ÜbersichtVorlesung Ubicomp

Geräte und UmgebungenParcTab: erste Ubicomp Geräte und UmgebungenReaktive UmgebungenAppliancesHardware für AppliancesWearables

KommunikationKontextHCI

Wearables

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-5

Wearable Computing Einleitung

Computer, der/die am Körper getragen wird/werdenInsbesondere zur Unterstützung des „mobilen“ Menschen

EinsatzbereicheNotizen, „Mitschneiden“TouristenführerReparatur- und WartungsserviceMilitärGesundheitsbereich

besondere Schwierigkeitendarf während der Tätigkeit nicht störentragbarkeine Monitor / Keyboard Interaktionnicht immer Online

Andrew H. Fagg

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-6

Historie

1966 (C): E. Thorp, C. Shannon: Analoger Schuh Computer für Roulette

1966 (F): D. Sutherland erfindet das Head-Mounted Display (HMD)

1968 (F): D. Engelbart demonstriert funktionierendes Chord

1977 (C): HP verkauft die HP 01TaschenrechnerUhr

(F) – Foundations / Grundlagen

(C) – Complete Systems

Quelle: hpmuseum.org

Chord: 5 Tasten Keyboard

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-7

Historie

1981: Steve Mann entwickelt als Schüler tragbaren Rechner um Phototechnik zu steuern

1984: William Gibson schreibt Neuromancer

1990: G. Maguire und J. Ioannidis demonstrieren das Student Electronic Notebook (Private Eye und mobile IP)

1991: CMU entwickelt VuMan 1

1993: T. Starner schreibt Remembrance Agent

1993: Feiner, MacIntyre, Seligman entwickeln KARMA

1993: T. Starner trägt ab jetzt konstant seinen Wearablebasierend auf D. Platt‘s HIP PC

1994: Lamming, Flynn entwickeln„Forget-me-not“

VuMan, Quelle: CMU

KARMA

T. Starner

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-8

Wearable Computing Prinzipien

Abgrenzung zum PCalte MIT Definition:Always onAlways accessibleAlways with the user

auchkomfortabel, unauffällig, einfach zu handhaben

Derzeitige MIT DefinitionMobile ( Where you go, it goes. )

Persistent ( Always on and always working. )

Secondary or Tertiary task ( Hands free, Eyes free, Brain free. )

Proactive ( Agent and Interrupt )

Context AwareQuelle:wearcam.org

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-9

Wearables

Intro und HistorieErgonomieWearable-TypenAugmented RealityBeispielanwendungenMensch-Maschine Interaktion

WearablesErgonomie

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-11

Problembereich 2:Anbringung und ErgonomieGemperle (1998): Designing for Wearability

Mehr Infos unter http://www.ices.cmu.edu/design/wearabilityDesign-Überlegungen

placement: Wo wird das Gerät angebrachtform language: Geräteformhuman movement: Beweglichkeit für Gerätproxemics: Anbringung als “Teil” des Körperssizing: “Größenkompatibel” mit versch. Personenattachment: Befestigungspunkte

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-12

Anbringung und Ergonomie

EntwurfskriterienPlazierung am KörperKörperstellen mit großer Oberfläche, wenig Bewegung, wenig Varianz bei versch. Menschen; GewichtsverteilungFormsprache und GrößeKonkav nach innen, konvex nach außen, organisch geformt, weich, für verschiedene Größen/angepaßt an..Menschliche Bewegung um aktive Stellen herum entwerfen; Raum schaffen, in den sich der Körper hineinbewegen kannWahrnehmung des Körpers Aura um den Körper berücksichtigen, die als körpereigen empfunden wirdBefestigung am Körper„um den Körper wickeln“, mehrere Befestigungspunkte

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-13

Generalisten

Generalisten: Multimedia / Video / CyborgsCyborg Begriff aus Science Fiction (M. Clines, 1960)Ersatz und Erweiterung menschlicher Sinne um spezifische Fähigkeiten von Technologie (hier: des Rechners)Grundidee so alt wie die Sehhilfeinsbesondere Überlagerung des Sehsinns

Technologie und AufbauPC ähnliche Wearable Geräte: ZentralerRechner und „dumme“ PeripherieVerteilte Wearables: Zusammenschluß von verschiedenen Geräten wie Uhr, Telefon, PDA, Sportmeßgeräten

Anwendungen:Entertainment, Fitness / SportAutomation und Wartung

Quelle: MIT Media Lab

WearablesTypen

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-15

Typischer WearableaufbauQuelle CMU: http://www.wearablegroup.org

SPOT Wearable der CMU (Okt. 02)

Zentraler Rechner mit Peripherie

Microprocessor Strong ARM SA-1110, 59-206MHz, Software-justierbare Core Voltage, Coprozessor SA-1111@144 MHz, 512 MB RAM, 64 MB Flash

Viele Schnittstellen: Firewire, USB, RS232, PCMCIA, Wavelan, 16 Kanal A/D Wandler (für interne Spannungsüberwachung), JTAG, Auto Power DownStereo Audio, hot-swappable DVI 640x48011.1 Wh Lithium Ionen, ca. 15x8x3 cm, 270g OHNE BatterieLeistungsaufnahme: 460mA bei 12V mit Microdrive und Wavelan, ohne Display

KonzeptMonolitischer Aufbau, Standard Software (Linux)Klein, damit gut anbringbarRelativ sparsam, damit kompakt baubar, wenig Wärmeableitungsprobleme

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-16

Beispiel: Mithril

Mithril von MITIntel ARM/XScale (SA 1110) basierte Zentrale (CERF Board)Zusätzliche „smarte“ Peripherie über BusTeilweise verteilter AnsatzTeilselbständige Peripherie z.B. SAK Board für Sensor-Überwachung▪ 3D Accelerometer ▪ IR Active tag reader ▪ microphone/headphone

audio board▪ USB microphone and

headphone driver.▪ USB CCD camera

Verteilte Komponentenüber den Körper ermöglichen ergonomische AnbringungBody Bus für Komm. der Komponenten (USB, I²C) Quelle: http://www.media.mit.edu/wearables/mithril/

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-17

Verteilter Wearable

eSleeve

C. Randell, H. Muller, U.of Bristol

CyberJacket, BlazerJet, e-Gilet, eSleeve

zusammen mit HP Labs Bristol

PDA, GPS, GSM, Speech Recognitionweniger Energieverbrauch durchVerteilung der Funktionalität aufspezialisierte Einheiten

Einfachere Integration und ergonomische Anpassung durchkleiner Einheiten

kein Hitzeableitungsproblem

besser Anwendungsanpassungdurch angepaßte Geräte

Quelle: http://wearables.cs.bris.ac.ukbisher noch chaotische Vernetzung

WearablesAugmented Reality

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-19

Erweiterte Realität, Augmented Reality (AR)Augmented Reality (AR)

Erweiterte Realität: Überlagerung und Erweiterung der durch menschliche Sinne wahrgenommenen RealitätIm Prinzip Sinn aller Wearables

Zwei MöglichkeitenErweiterung der Geräte selbst -> UbicompErweiterung durch persönliches Gerät -> Wearable

ZweckEinblendung von Information (Überbrückt virtuelle und reale Welt)Erweiterte Wahrnehmung, z.B. Nachtsicht, biometrische Parameter

VorteilBenutzbarkeit: Arbeiten im Raum, direkte Einbeziehung der Realität statt AbbildungTechnik: I/O überall ohne Infrastruktur

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-20

Erweiterte Realität

Quelle: http://www.csl.sony.co.jp/person/rekimoto/uist95/uist95.html

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-21

Erweiterte Realität: Displays

TechnologienAR Displays: Head-Mounted Displays, die die Verknüpfung realer und virtueller Bilder unterstützen▪ Video-basiert: HMD mit Kamera, reale Welt-Sicht indirekt

▫ Technisch einfache Verknüpfung von virtuellen und „realem“ Bild▫ verzögerte Wahrnehmung der realen Welt, schlechtere Auflösung

▪ See-Through: durchsichtiges Display▫ unverzögerte Wahrnehmung, weniger eingeschränkte Sicht, Sicherheit!▫ Verknüpfung von virtuellem und realem Bild aufwendig

Bezug zur Umwelt▪ Position, Orientierung, Identifikation

Überlagerung von Information und realer Welt-Sicht▪ Interakiv in Realzeit, Registrierung in 3D

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-22

AR Darstellung von InformationHead-Stabilized: Information relativ zum Kopf verankert, d.h. fixiert im Gesichtsfeld▪ z.B. für schnell zuweisbare User Interface-

ElementeBody-Stabilized: relativ zum Körper verankert▪ virtuelle Displayfläche um den Kopf/Körper

herum, navigierbar durch Kopf-/Körperbewegung

World-Stabilized: Information relativ zur realen Welt, d.h. an Positionen der Gegenstände verankert▪ z.B. Information zu Gebäuden und zu Objekten▪ z.B. Sony NaviCam

Quelle: http://www.csl.sony.co.jp/person/rekimoto/uist95/uist95.html

Erweiterte Realität: Displays

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-23

Erweiterte Realität NaviCam

Quelle: http://www.csl.sony.co.jp/person/rekimoto/uist95/uist95.html

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-24

AR Tracking

Shared Space / Magic BookHitlab, U. of Washington, Marc BillinghurstNotwendig: “Tagging” der Objekte

Bestimmung Positition, Identifikation via Kamera Möglichkeiten Tagging:▪ Aktive Objekte: z.B. IR Sender, viel Infrastruktur▪ Passive Objekte: Computer Vision

sehr rechenaufwendig, minimale (z.B. 3D Barcode) oder keine Infrastruktur

▪ Inertial: Beschleunigung, Drehung, sehr ungenau

Immer benötigt: Brille+Kamera auf/an Brille zur Erkennung

Videos Quelle: www.hitl.washington.edu

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-25

AR Tracking

Markererkennung

WearablesBeispiele

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-27

Vu-Man

Vu-Man3Carnegie Mellon Universityzusammen mit Boinghead mounted display (HMD)Zentraler PC (80386)Wahlscheibe als Eingabe, sehr robust

Ergebnisangeblich 40% Reduktion der BearbeitungszeitNur noch eine Person notwendigNicht weitergeführt, da wenig erfolgreich

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-28

Columbia University: KARMA,Touring Machine KARMA: AR für Reparatur Ohne

HandbuchKARMA = Knowledge-based Augmented Reality for Maintenance Assistance

Wearable für NavigationSteve Feiner, Columbia University“Mobile Augmented Reality”

KomponentenBackpack-PC (133MHz Pentium, 64Mbyte memory, 512K cache, 2GB disk)GPS / Diff. GPS: PositionierungHMD mit Orientation-Tracker (Kompass + Beschleunigungsmesser)Funk LANzusätzlich Handheld Display

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-29

Touring Machine

AR DisplayUI-Navigationselemente fixiert (head-stabilized)Information zur Umgebung in der realen Welt verankert (world-stabilized)Kontextauswahl durch Blickrichtung(Gaze Selection)Menüauswahl über Trackpad aufRückseite des Handhelds

Handheld DisplayDisplay für Information zur Vertiefung (d.h. AR Display bleibt für Mixed Realityreserviert)abhängig vom AR-Kontext

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-30

Anwendung: CamNet Studie

Studie von British Telecom, 1992Wearable Teleconferencing▪ Audio, Video, Daten▪ WYSIWIS “what you see is what I see”▪ Bezugnahme auf lokalen Kontext▪ Shared pointer

Asymmetrie▪ in den Rollen: mobiler Arbeiter vor Ort

konsultiert entfernten Experten▪ in der Kommunikation: breitbandig zum

Experten, schmalbandig zum WearableUnterstützung mobiler Aktivität▪ “freihändige” Kommunikation

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-31

Anwendung: Gedächtnisunterstützung

Remembrance Agent („Gedächtnis-Prothese“)Rhodes, MIT MediaLab 1997menschliche Schwäche: vergessen / nicht erinnernComputer-Stärken: alles speichern, schnelle Suche

WearablesAusgabe

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-33

Interaktionstechnologien

AusgabeDisplays, die nicht den Blick auf reale Welt versperren▪ See-through Displays („halbdurchsichtig“)▪ See-above Display▪ Monokulare Displays (einäugig)▪ Displays am Arm, Uhr, ....

Nutzung oft ähnlich gewohnter GUI NutzungEingabe

Explizite Eingabe problematisch, da von realer Welt ablenktKeine feststehendes Eingabegerät erfordert neue Interaktionstechniken

oft Erlernen eines neuen GerätsEingabetechniken für einhändige oder freihändige Interaktion▪ Sprachbedienung▪ Spezialtastaturen▪ Zeigegeräte als Mausersatz

mehr Produkte auf http://www.tekgear.ca

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-34

Head Mounted Display

Quelle: www.ices.cmu.edu/design/wearabilityErgonomieGewicht nahe Schwerpunkt des KopfesMaximale Auflagefläche ohne MuskelnKeine Sinne beinträchtigt

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-35

Displays für mobile Aktivität

See-through DisplaysBsp. Sony GlasstronStärken: Displaygröße und -qualität▪ 30° Gesichtsfeld,

Farbe, SVGANachteile:▪ eingeschränkte Sicht

auf reale Welt (Ge-sichtsfeld, Lichtstärke)

▪ optimiert für andere Anwendungen (TV, Spiele, Augmented Reality [s.u.])

▪ sehr hohe Leistungsaufnahme (11W)

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-36

Displays für mobile Aktivität

Aussenansicht

See-above DisplaysBsp. Personal Monitormehr periphere Sicht als bei Sony Glasstron, aber einge-schränkt durch Abdeckungweniger Displayraum im Gesichtsfeld, keine Über-lagerung virtueller undrealer Bilder

Innenansicht

Sichterlebnis

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-37

Displays für mobile Aktivität

Monokulare DisplaysBsp. M1 Display, „Private Eye“500 $auf einem Auge freie Sichtwenig Displayraum (8° FOV), bei M1 niedrige QualitätAufteilung: ein Auge für die reale Welt, eins für die virtuelle▪ fragwürdiges Konzept

(dominantes Auge, 3D-Sehen)

▪ hohe Belastung für Nutzer

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-38

Displays für mobile Aktivität

„Unsichtbare“ Monokulare DisplaysEntwicklungen von MicroOptical: Clip-On Displayzwischen 900-1600 $ je nach Auflösung

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-39

Displays für mobile Aktivität

„Unsichtbare“ Monokulare DisplaysMicroOptical: Integrated Eyeglass DisplayMicroOptical: Binocular Display

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-40

Displays

Direkte RetinaprojektionErfindung 1991 HITLab, Washington

640 x 480, 60Hz, farbig

Kommerzielle Entwicklung von Microvision (MVIS.com)

Quelle: http://www.mvis.com

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-41

Nutzung gewöhnungsbedürftig

... Besonders für die Umwelt

WearablesEingabe

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-43

Displays für mobile Aktivität

Tragbare Display-Alternativen zu HMDsz.B. Wrist-Mounted Display

CeBIT‘99

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-44

Wearable Eingabe: Klassifikation

FreihändigSprache, Eye-Tracking, Computer Vision

EinhändigTrackball, Wählscheibe, Maus, Gesten, Chord, Keyboard, Knöpfe, Joystick, Beschleunigungs- oder Neigungssensoren

ZweihändigPen/Touch, Gesten, Keyboard

Wichtigste VertreterQUERTY /Half-Q.Chord-Erweiterte, z.B. Twiddler

Chord Einarbeitungszeit: ca. 30 h für 36 Anschläge/min (etwa Keyboard)

Quelle: specialneedscomputers.ca

WearablesAudio

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-46

Audio Wearable

Nomadic RadioSawhney & Schmandt, MIT MediaLabAudio-only Wearable für ubiquitäre KommunikationAusgabe: periphäre Geräusche (Cues) und Synthetische Sprache (Benachrichtigung, Antworten auf Befehle)Eingabe: Sprach-erkennunggerichtete Lautsprecher in Kopfnähe für 360° gerichtete Ausgabe

Quelle:web.media.mit.edu/~nitin/NomadicRadio

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-47

Nomadic Radio

Video

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-48

Nomadic Radio: System

Quelle:web.media.mit.edu/~nitin/NomadicRadio

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-49

Nomadic Radio: Navigation

Aktive InteraktionVokabular für Sprachnavigation▪ 12 Meta-Kommandos, z.B. “Go to my {email / news / ...}”▪ ein Vokabular für alle Anwendungen, nicht modal

Räumliche Anordnung von Nachrichten in 3D-Audio ▪ Body-stabilized, z.B. nach zeitlichem Eingang im Tagesverlauf

Simultanes Hören: z.B. Email im Vodergrund, News im Hintergrund

12.00 Uhr

15.00

18.00

9.00

Email14.30

News8.00

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-50

Nomadic Radio: Benachrichtigung

Passive Interaktion, periphere WahrnehmungSkalierbare Darstellung▪ genügend Information bei minimaler Unterbrechung▪ stufenweise Verfeinerung der Information

Quelle:web.media.mit.edu/~nitin/NomadicRadio

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-51

Nomadic Radio: Adaptive BenachrichtigungZiel: Benachrichtigung mit maximaler Qualität, mit minimaler

Unterbrechung

CLUESInhaltsbasierte Priorisierungs- und FiltersystemEntscheidet gemäß Zusammenhang zwischen Kalendar, Rolodex, to-do list, #gesendeter Nachrichten und Anrufe Kategorien: timely, personal or very important. Momentan nur E-Mail

AdaptionImplicit feedback ▪ z.B. durch Ignoranz, Wiedergabe aktiv in den Vordergrund bringen,

...▪ reinforcement of listening profile (LP)

Memory-based Reasoning (MBR), Bayesian Networks

Quelle: Marx, Matthew and Chris Schmandt. "CLUES: Dynamic Personalized

Message Filtering". Proceedings of CSCW '96, Nov.1996.

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-52

Nomadic Radio: Awareness

Periphere Wahrnehmung„Anwesenheit“ anderer▪ Lokation (selber Raum, anderer Raum), Anwesenheit in

Computersystemen, z.B. Login, Unterbrechbarkeit

Abstract Awareness ▪ Räumliche Audio Cues, die über Aktivitäten anderer

informierenGarbled Awareness▪ Einklinken in lokale Audioumgebung anderer Teilnehmer,

verzerrte Wiedergabe (GarblePhone) Asynchronous Voice Messaging▪ Aufnahme und Wiedergabe von Voice Msg. Via Server

Synchronous Voice Communication▪ direkte Audio-Kommunikation mit anderen

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-53

Nomadic Radio: Awareness Taxonomy

WearablesAffective Computing

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-55

Affective Computing

Begriff von R. Picard, MITIdee: Rechner soll „emotionalen Zustand“ des Menschen erfahren und berücksichtigenRealisierung: Beobachtung über bestehende und vor allem neue Schnittstellen

BeispieleBlutdruckmessung durch elektronischen Ohrring

Leitfähgkeit der Haut:Uhr, Fingerring, erweiterte Maus Quelle:affect.media.mit.edu

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-56

Affective Computing

Physiolog. SensorikGSR (Galvanic Skin Response), EKG (Electrocardiogram), EMG (Electromyogram), BVP (Blood Volume Pressure), Respiration, TemperatureVideoüberwachung: Augenbewegung etc.

AnwendungsfelderLernsystemeverbesserter Benutzerschnittstellenimplizite InteraktionKunst und UnterhaltungGesundheitswesen...

Bsp: OrpheusSteuerung der abgespielten Musik basieren auf Emotionszustand

Quelle:affect.media.mit.edu

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-57

Affective Computing

StartleCamHealey & Picard, MIT MediaLabComputer hört auf Körpersignale (hier: GSR)Affective ComputingUser erschrickt Notruf mit Bildübertragung („die letzten 5 sec vor dem Überfall“)

Quelle:affect.media.mit.edu

Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-58

StartleCam: Sensorinput und Verarbeitung


Recommended