Upload
jonas-neugebauer
View
125
Download
1
Embed Size (px)
Citation preview
Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im
Informatikunterricht
Jonas [email protected]
Sebastian [email protected]
ITNRW WS10: Be-greifbare Interaktionen 2
Agenda• Begrüßung• Worum geht es?• Was sind Be-greifbare Interaktionen?• Was ist Scratch4TUIO?• Erste Schritte mit Scratch4TUIO• Kreativ sein!• Gedankenaustausch zum Abschluss
14.03.2016
ITNRW WS10: Be-greifbare Interaktionen 3
WAS SINDBE-GREIFBARE INTERAKTIONEN?
14.03.2016
ITNRW WS10: Be-greifbare Interaktionen 4
Was sind Be-greifbare Interaktionen?
14.03.2016
Be-greifbare Interaktion(en), dt. für Tangible User Interface*(s)
Ansatz der Mensch-Maschine-Interaktion: Interaktion mit Informatiksystemen durch die Manipulation physikalischer Objekte
* Hiroshi Ishii and Brygg Ullmer. Tangible bits: Towards seamless interfaces between people, bits and atoms. In Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems, CHI ’97, pages 234–241, New York, NY, USA,1997. ACM
ITNRW WS10: Be-greifbare Interaktionen 5
Was sind Be-greifbare Interaktionen?
14.03.2016
Bilder von Wikimedia Commons: https://commons.wikimedia.org
ITNRW WS10: Be-greifbare Interaktionen 6
Was sind Be-greifbare Interaktionen?
14.03.2016
Be-greifbare Interaktion(en), dt. für Tangible User Interface*(s)
Ansatz der Mensch-Maschine-Interaktion: Interaktion mit Informatiksystemen durch die Manipulation physikalischer Objekte
+ Kopplung physikalischer Artefakte und digitaler Information.
* Hiroshi Ishii and Brygg Ullmer. Tangible bits: Towards seamless interfaces between people, bits and atoms. In Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems, CHI ’97, pages 234–241, New York, NY, USA,1997. ACM
ITNRW WS10: Be-greifbare Interaktionen 7
Was sind Be-greifbare Interaktionen?
14.03.2016
Abb. Aus B. Ullmer and H. Ishii. Emerging frameworks for tangible user interfaces. Human-Computer Interaction in the New Millenium, pages 579–601, August 2001.
vs.
ITNRW WS10: Be-greifbare Interaktionen 8
Was sind Be-greifbare Interaktionen?
14.03.2016
Bilder von Data PhysicalizationWiki (http://dataphys.org) und Wikimedia Commons: https://commons.wikimedia.org
ITNRW WS10: Be-greifbare Interaktionen 9
Was sind Be-greifbare Interaktionen?
14.03.2016
Merkmale von TUIs
• Kopplung physikalischer Objekte (Tangibles) mit digitaler Information• Physikalische Manipulationen der Objekte im (dreidimensionalen)
Raum (bewegen, drehen, ...) ermöglichen Interaktive Kontrolle• Es existiert eine wahrnehmbare Verbindung der physikalischen
Darstellung mit der aktuellen digitalen Information• Der Zustand des Objektes verkörpert Schlüsselzustände des digitalen
Systems• Die Gruppierung und das Zusammenspiel der Objekte beeinflusst die
Funktionalität des Systems
ITNRW WS10: Be-greifbare Interaktionen 10
Was sind Be-greifbare Interaktionen?
14.03.2016
Bilder von Data PhysicalizationWiki (http://dataphys.org) und Wikimedia Commons: https://commons.wikimedia.org
ITNRW WS10: Be-greifbare Interaktionen 11
Was sind Be-greifbare Interaktionen?
14.03.2016
Be-greifbare Interaktionen können aber auch weiter gefasst werden:
• Data-centred Views.o.
• Perceptual-motor-centered ViewFokus auf die Interaktion (nicht die Schnittstellen) z.B. zur Fernsteuerung von Maschinen. Ausnutzen eines größeren Spektrums an (körperlichen) Interaktionsmöglichkeiten.
• Space-centered ViewDer Nutzer selbst wird Teil des Interfaces. Z.B. können Bewegungen im Raum als Interaktionen verarbeitet werden.
vgl. Eva Hornecker. A design theme for tangible interaction: Embodied facilitation. In Proceedings of the Ninth Conference on European Conference on Computer Supported Cooperative Work, ECSCW’05, pages 23–43, New York, NY, USA, 2005. Springer-Verlag New York, Inc.
ITNRW WS10: Be-greifbare Interaktionen 12
Was sind Be-greifbare Interaktionen?
14.03.2016
Bilder von Wikimedia Commons: https://commons.wikimedia.org
NUI = Natural User Interface
ITNRW WS10: Be-greifbare Interaktionen 13
Der nächste Schritt in der MMI
14.03.2016
Abb. aus Ishii, H., Lakatos, D., Bonanni, L., & Labrune, J. B. (2012). Radical atoms: beyond tangible bits, toward transformable materials. interactions, 19(1), 38-51.
Verformbare Materialien statt (starrer) Tangibles
ITNRW WS10: Be-greifbare Interaktionen 14
BE-GREIFBARE INTERAKTIONENIN DER SCHULE
14.03.2016
ITNRW WS10: Be-greifbare Interaktionen 15
Be-greifbare Interaktionen in der Schule
14.03.2016
In den letzten Jahren haben Be-greifbare Interaktionen indirekt durch Physical Computing teilweise Einzug in den IU gehalten:
z.B. Gestaltung alternativer Interaktionen durch Mikrocomputer mit angeschlossenen Motoren und Sensoren
ITNRW WS10: Be-greifbare Interaktionen 16
Be-greifbare Interaktionen in der Schule
14.03.2016
Bilder von Uni Potsdam (http://www.cs.uni-potsdam.de/~mprz/index.html) und Wikimedia Commons: https://commons.wikimedia.org
ITNRW WS10: Be-greifbare Interaktionen 17
Be-greifbare Interaktionen in der Schule
14.03.2016
Abb von Uni Potsdam (http://www.cs.uni-potsdam.de/~mprz/index.html)
EntwicklungNutzung
• Habtische Komponente bei Interaktion mit IS
• Höhere Kooperation der Anwender
ITNRW WS10: Be-greifbare Interaktionen 18
Be-greifbare Interaktionen in der Schule
14.03.2016
• Bestandteil der Lebenswelt
ITNRW WS10: Be-greifbare Interaktionen 19
Be-greifbare Interaktionen in der Schule
14.03.2016
• Bestandteil der Lebenswelt
• Einbettung in verschiedene Kompetenz-/Prozess-/Inhaltsbereiche möglich
I, M & G: Veränderung der Lebenswelt (‚ubiquitous computing‘)
Alg: Objekterkennung in VideosM & I: Softwareprojekte
D: Kodierung von Fiducials Alg: Einführung in die Programmierung
Arg: Kodierung von Fiducials
ITNRW WS10: Be-greifbare Interaktionen 20
Be-greifbare Interaktionen in der Schule
14.03.2016
• Bestandteil der Lebenswelt
• Einbettung in verschiedene Kompetenz-/Prozess-/Inhaltsbereiche möglich
• Schnell sichtbare Erfolge möglich (→ Motivation)
ITNRW WS10: Be-greifbare Interaktionen 21
Be-greifbare Interaktionen in der Schule
14.03.2016
• Bestandteil der Lebenswelt
• Einbettung in verschiedene Kompetenz-/Prozess-/Inhaltsbereiche möglich
• Schnell sichtbare Erfolge möglich (→ Motivation)
• Verschiedene Niveaus der Umsetzung möglich
ITNRW WS10: Be-greifbare Interaktionen 22
WAS IST SCRATCH4TUIO?
14.03.2016
ITNRW WS10: Be-greifbare Interaktionen 23
Was ist Scratch4TUIO?
14.03.2016
„With Scratch, you can program your own interactive stories, games, and animations — and share your creations with others in the online community“ 1
„TUIO is an open framework that defines a common protocol and API for tangible multitouch surfaces“ 2
1) Mitchel Resnick, John Maloney, Andrés Monroy-Hernández, Natalie Rusk, Evelyn Eastmond, Karen Brennan, Amon Millner, Eric Rosenbaum, Jay Silver, Brian Silverman, and Yasmin Kafai. 2009. Scratch: programming for all. Commun. ACM 52, 11 (November 2009), 60-67. DOI=http://dx.doi.org/10.1145/1592761.15927792) Kaltenbrunner, M. & Bovermann, T. & Bencina, R. & Costanza, E. "TUIO - A Protocol for Table-Top Tangible User Interfaces", Proceedings of the 6th International Workshop on Gesture in Human-Computer Interaction and Simulation (GW 2005), Vannes (France)
24
Was ist Scratch4TUIO?
14.03.2016 ITNRW WS10: Be-greifbare Interaktionen
TUIO ist ein Standard-Protokoll zur Übertragung von Zuständen und Ereignissen auf Mutlitouch-Tischen (MTT)
ITNRW WS10: Be-greifbare Interaktionen 2514.03.2016
tuio.org
ITNRW WS10: Be-greifbare Interaktionen 26
Schon wieder was neues?
14.03.2016
In den letzten Jahren gab es eine Vielzahl von neuen Arte-fakten für den Informatikunterricht, die versuchen, die selben Aspekte zu fördern:
• Lego Mindstorms• Raspberry Pi• Arduino• Ozobot• Micro.bits
ITNRW WS10: Be-greifbare Interaktionen 27
Schon wieder was neues?
14.03.2016
Für uns die wichtigsten Aspekte Pro S4T:
• Ohne Zusatzhardware (kostenfrei) einsetzbar• Durch minimalen Kostenaufwand (Webcam, Smartphone)
interessante Projekte möglich• Nach oben hin viele Möglichkeiten zur Erweiterung (dann
ggf. mit Zusatzkosten verbunden)• Verbindung zu anderen Komponenten möglich
ITNRW WS10: Be-greifbare Interaktionen 28
Bis hierher Fragen?
14.03.2016
ITNRW WS10: Be-greifbare Interaktionen 29
ERSTE SCHRITTE MIT SCRATCH4TUIO
14.03.2016
Jonas Neugebauer und Sebastian Thiele 30
VON TUIO NACH SCRATCH4TUIO
14.03.2016
31
Aufbau und Ablauf mit TUIO
14.03.201614.03.2016 31Jonas Neugebauer und Sebastian Thiele
TUIO Client Applikation
TUIO Tracker Applikation
Multi-Touch Gesten
markierte Objekte
Sensor
TUIO Protokoll
Objekt Geometrie
32
TUIO - Features• Event Kinds– Add– Update– Remove
• Verschiedene Profile:– TUIO- Objekt– TUIO- Cursor– TUIO- Blob
• Profile in 2D und 3D
14.03.2016 Jonas Neugebauer und Sebastian Thiele
TUIO- Punkt
33
Welche Attribute werden getrackt?• Bewegung:– Position– Bewegungsgeschwindigkeit– Bewegungsbeschleunigung
• Drehung:– Drehwinkel– Drehgeschwindigkeit– Drehbeschleunigung
14.03.2016 Jonas Neugebauer und Sebastian Thiele
34
TUIO- Objekte
Tracking Informationen– Markierung kodiert eine Symbolnummer– Bewegungsinformationen– Drehinformationen– Sitzungsnummer
14.03.2016 Jonas Neugebauer und Sebastian Thiele
35
TUIO- Objekte
vs.
14.03.2016 Jonas Neugebauer und Sebastian Thiele
Symbolnummer:
• Kodiert durch Marker• Kann mehrmals auftreten
Sitzungsnummer:
• Eindeutige ID für eine Sitzung• Wird bei jeder Sitzung neu vergeben• kann nur einmal vorkommen
36
TUIO- Cursor
Tracking Informationen– Bewegungsinformationen– Sitzungsnummer
14.03.2016 Jonas Neugebauer und Sebastian Thiele
37
TUIO- Blobs
Tracking Informationen– Mittelpunktkoordinaten– Höhe, Breite Fläche des umgebenden Rechtecks– Bewegungsinformationen– Drehinformationen– Sitzungsnummer
14.03.2016 Jonas Neugebauer und Sebastian Thiele
Jonas Neugebauer und Sebastian Thiele 38
Anwendungsbeispiele TUIO
14.03.2016
TUIO Tracker Applikation
TUIOTUIO Client Applikation
reacTIVision
Jonas Neugebauer und Sebastian Thiele 39
Von TUIO nach Scratch4TUIO
14.03.2016
TUIO Client Applikation
TUIO Tracker Applikation
Multi-Touch Gesten
markierte Objekte
Sensor
TUIO Protokoll
Jonas Neugebauer und Sebastian Thiele 4014.03.2016
Demonstration
Jonas Neugebauer und Sebastian Thiele 4114.03.2016
Arbeitsphase• Starten Sie die Softwarekomponenten und testen Sie die
Funktionalität mit einem einfachen Programm
• Wählen Sie eines der vorgegebenen Projekte und ändern Sie die Steuerung auf ein alternatives Interaktionskonzept um
ITNRW WS10: Be-greifbare Interaktionen 42
Fragen?Anmerkungen?
14.03.2016
ITNRW WS10: Be-greifbare Interaktionen 43
Kreativ sein!• Scratch Projekte• MakeyMakey• Fiducials• Smartphone• (Arduino)
14.03.2016
ITNRW WS10: Be-greifbare Interaktionen 44
Diskussion• Würde ich TUIs im IU einsetzen?• Warum (nicht)?
• Progressionsmöglichkeiten?• Sinnhaftigkeit?• Verknüpfung zu Kompetenz-/Prozess-/Inhaltsbereichen?
14.03.2016
Jonas Neugebauer und Sebastian Thiele 45
Interessante Weblinks
Alle relevanten Links finden Sie unter:
• http://tinyurl.com/itnrw16-s4t
14.03.2016
ITNRW WS10: Be-greifbare Interaktionen 46
DANKE FÜR IHRE AUFMERKSAMKEIT UND MITARBEIT
14.03.2016
ITNRW WS10: Be-greifbare Interaktionen 4714.03.2016
ITNRW WS10: Be-greifbare Interaktionen 4814.03.2016