Embed Size (px)
Citation preview
Sensoren: dem Musizieren auf der Spur
Treffpunkt Science City Zürich, 30.11.2014
T. Grosshauser
ETZ Electronics Laboratory, Wearable Computing
ETH Zurich
Bonsai Systems GmbH
ETH SpinOff
Motivation
§ Anwendbar am/mit dem eigenen Instrument, „überall“.
§ Erweiterte Analysemöglichkeiten individueller Problemstellungen/objektive Spieldaten.
§ Vergleich unterschiedlicher Spieltechniken/Musiker.
§ Übekontrolle/-unterstützung.
[email protected] - Ife – Wearable Computing Lab – www.BonsaiSystems ETH SpinOff
Übersicht, Teil 1:
§ Basistechnologien
§ Modulare Software Umgebung
§ Neue Sensortechnologien für:
§ Percussion
§ Tasteninstrumente
§ Blasinstrumente
§ Streich- und Zupfinstrumente
[email protected] - Ife – Wearable Computing Lab
Teil 2:
§ Experimente und Anwendungen
§ Koordination (individueller Musiker), Synchronisation
(Musikgruppen)
§ Ermüdungserkennung
§ Untersuchung spezieller Spieltechniken
§ „Künstliche Intelligenz“ beim Musizieren und Üben
[email protected] - Ife – Wearable Computing Lab
[email protected] - Ife – Wearable Computing Lab
Software Teil 4:
Multi-angle Video und Audio Aufnahme Sensordaten Analyse/Aufnahme/Wiedergabe
Software Teil 4:
[email protected] - Ife – Wearable Computing Lab
Multi-angle Video und Audio Aufnahme (4)
[email protected] - Ife – Wearable Computing Lab
Software Part 3:
Soundparameter Analyse und Visualisierung Koordination und Rhythmus Analyse/Training
[email protected] - Ife – Wearable Computing Lab
Software Part 5:
Kreativteil für Sound und Videoeffekte:
Sensor + Computer + Musikinstrument = “Smart Musical Instruments”
Mess- und Analysetechnologie für: § Finger/Hand Positionserkennung. § Druck- und Kraftmessung für z.B. Kinn, Schulter, Hand
und Finger… . § Lage-/Halteerkennung des Musikinstruments. § Koordination, Synchronisation und
Spieltechnikanalyse.
[email protected] - Ife – Wearable Computing Lab
Musikinstrumente:
§ Schlagzeug § Tasteninstrumente § Blasinstrumente § Streichinstrumente
[email protected] - Ife – Wearable Computing Lab
Piano Key Sensors (1):
[email protected] - Ife – Wearable Computing Lab
0
100
200
300
400
500
0 2 4 6 8 10 12
ADC 10bit
Values
Attack on the key
Drucksensitive Folienauf der Tastatur:
Finger Pressure Distribution and Position on a Piano Key
[email protected] - Ife – Wearable Computing Lab
Piano “On-Key” Pressure Measurement
[email protected] - Ife – Wearable Computing Lab
Key angle versus finger pressure
Finger-
Druck
auf
Taste
Bewegungs-
winkel
der
Taste
Blasinstrumente Hand-, Finger- und Lippendruckmessung
[email protected] - Ife – Wearable Computing Lab
Beispiel Saiteninstrument 1:
[email protected] - Ife – Wearable Computing Lab
Das endgültige Sensor-Griffbrett
Finger Pressure and Position:
Msec.
Finger
Pressure
Finger
Position
Zeitliche Auflösung ca. 2ms. Kontinuierliches Messen des Drucks Positions- und Auflageflächer, ca. 0.3 mm Auflösung.
[email protected] - Ife – Wearable Computing Lab
Pressure Measurement Study:
[email protected] - Ife – Wearable Computing Lab
0
100
200
300
400
500
600
700
1 2 3 4 5 6 7 Datenreihe1 577 591 593 592 599 626 496
- Durchschnittsdruck linke Hand Geiger.
Linke Hand, Kinn- und Schulterstütze“Trinity”
Analyse der 3 Kontaktpunkte:
§ Messung Druckverteilung zwischen Daumen/Finger
linke Hand, Kinnauf Kinnstütze und Schulterstütze
auf Schulter.
§ Erfassen der Lage und Bewegung der Geige.
§ Zusätzlich Bogenbewegung möglich.
[email protected] - Ife – Wearable Computing Lab
Guitar Left and Right Hand Sensing:
§ Zetliche Auflösung 2ms § Kontinuierliche Fingerposition- und Druckmessung § Positiononserkennung for und auf dem Bund
[email protected] - Ife – Wearable Computing Lab
Synchronization Violinduo:
[email protected] - Ife – Wearable Computing Lab
200
400
600
800
1000
1200
26000 26100 26200 26300 26400 26500 26600
Rela
tive
Acce
lera
tion
and
Fing
er o
n/of
f the
Stri
ng
time in msec.
Fingerchange 1st Violin PlayerBow Acceleration 1st Violin Player
Bow Acceleration 2nd Violin PlayerFingerchange 2nd Violin Player
A B
Ermüdungserkennung:
[email protected] - Ife – Wearable Computing Lab
• 2 Studien, 7 Geiger, 60min Üben, Messung alle 10 min
• Alter 12 – 60 Jahre • Profis und Amateure
Anwendung “On Stage”
§ Individualisierte und modifizierte Musikinstrumente. § Neuartige Mappingmöglichkeiten. § Unterstützung durch Algorithmen und neue
Kompositionstechniken.
[email protected] - Ife – Wearable Computing Lab
Demo Movie
Further info: [email protected] http://www.ife.ee.ethz.ch/people/grotobia http://www.ife.ee.ethz.ch/research/groups/Music
§ Musical instrument interaction: Development of a sensor fingerboard for string instruments, Grosshauser and Tröster, in: Tangible Embedded Interaction, TEI ACM 14, 2014 link
§ Capacitive Left Hand Finger and Bow Sensors for Synchronization and Rhythmical Regularity Analysis in String Ensembles, Tobias Grosshauser, Sebastian Feese and Gerhard Tröster, in: SMAC - Stockholm Music Acoustics Conference, 2013 link
§ Creative Music Lab: Towards Performance Analysis Software for Musical Instrument Learning and Playing Support, Tobias Grosshauser and Gerhard Tröster, in: Proceedings of Society for Information Technology & Teacher Education International Conference, SITE 2013,
§ Fatigue Detection in Music Makin Using Wearable Sensors, Tobias Grosshauser, U. Großekathöfer and Gerhard Tröster, in: SMAC - Stockholm Music Acoustics Conference, 2013 link
§ Further Finger Position and Pressure Sensing Techniques for Stringed and Keyboard Instruments, Tobias Grosshauser and Gerhard Tröster, in: New Interfaces for Musical Expression, NIME13, 2013 link
§ Optical Bow Position, Speed and Contact Point Detection, Tobias Grosshauser and Gerhard Tröster, in: Ubiquitous Computing, UbiComp '13 Adjunct, 2013
§ Sensor Based Hand Weight and Pressure Measurements in Trombone Playing, Tobias Grosshauser, Bernhard Hufnagl, Gerhard Tröster and Ardina Mornell in: SMAC Stockholm Music Acoustics Conference, 2013 link
§ BRIX – An Easy-to-Use Modular Sensor and Actuator Prototyping Toolkit, Sebastian Zehe, Tobias Grosshauser and Thomas Hermann, in: SenAmi 2012, 4th International Workshop on Sensor Networks and Ambient Intelligence,
§ New Sensor Techniques for Musical Instruments Teaching, Learning, and Research, Tobias Grosshauser, Bernd Tessendorf, Gerhard Tröster, Horst Hildebrandt and Victor Candia, in: Art in Motion: Musical and athletic motor learning and performance (AiM 2012), 2012
§ Sensor Based Measurements of Musicians' Synchronization Issues, Tobias Grosshauser, V. Candia, H. Hildebrand and G. Tröster, in: Proceedings of the International Conference on New Interfaces for Musical Expression (NIME), University of Michigan, 2012 link
§ Sensor Setup for Force and Finger Position and Tilt Measurements for Pianists, Tobias Grosshauser, Victor Candia, Bernd Tessendorf and Gerhard Tröster, in: Proceedings of the 9th Sound and Music Computing Conference, Copenhagen, Denmark, 2012
§ Wearable Sensor Based Real-Time Sonification of Motion and Foot Pressure in Dance Teaching and Training, Tobias Grosshauser, B. Blaesing, C. Spieth and T. Hermann (2012), in: Journal of the Audio Engineering Society link
§ Art in Motion, Tobias Grosshauser, U. Grossekathoefer and T. Hermann, chapter ARTIS - Adaptive and Reactive Sensor Technology for Musical Instruments, Peter Lang Verlag
§ New Sensors and Pattern Recognition Techniques for String Instruments, Tobias Grosshauser, U. Großekathöfer and T. Hermann, in: International Conference on New Interfaces for Musical Expression, NIME2010 link
[email protected] - Ife – Wearable Computing Lab
