Das Jazzomat-Projekt Klaus Frieler

Institut für Musikwissenschaft, Weimar-Jena

Gastvortrag

Musikwissenschaftliches Institut Wien

19. Januar 2017

Rechnerbasierte Musikwissenschaft • Wozu?

• Komplementiert, ergänzt und erweitert vorhandene

und eröffnet neue Analysemethoden.

• Historisch entstanden aus Korpus-basierten

Unterdisziplinen (z.B. Musikethnologie, Alte Musik

Forschung).

• Aufschwung durch Music Information Retrieval seit

den 2000er und Durchdringung des Computers.

• Schnittmenge mit Computermusik

(Komposition/Produktion von Musik.)

Rechnerbasierte Musikwissenschaft • Vorteile:

– Erleichterte Generierung und Erhebung von

großen Datenmengen (erhöhte Reliabilität).

– Notwendig zur Analyse von großen Datensätzen

(Big Data).

– Beschleunigung von Forschungsprozessen.

– Testung und Entwicklung von Modellen.

– Dinge messen, die sonst schwer zu messen sind.

Rechnerbasierte Musikwissenschaft • Nachteile (?):

– Fokus auf quantitative Methoden.

– Benötigen meist eine Vereinfachung von

Konzepten, um sie Rechner-tauglich zu machen

(kann auch ein Vorteil sein!).

– Oft hohe Einstiegshürden (Zusatzwissen

Mathematik, Informatik, Statistik, Machine

Learning, Signalverarbeitung uvm).

– „Proving the obvious“ (aber: „hindsight bias“).

Rechnerbasierte Musikwissenschaft

Musikanalyse

Statistik

Noten

Audio

Metadaten Klanganalyse

Ergebnis

Transkription

Das Jazzomat-Projekt Arbeitsschwerpunkte:

1. Aufbau einer Datenbank von ca. 450 einstimmigen

Jazzsolo-Transkriptionen (Weimar Jazz Database,

derzeit 299 Soli).

2. Entwicklung von Analyse-Tools (MeloSpySuite,

MeloSpyGUI):

• Merkmalsextraktion, Visualisierung

• Mustererkennung und -suche

• Datenimport/-export

3. Forschen, forschen, forschen …

DFG-Forschungsprojekt (12/2012 bis 4/2017)

Melodisch-rhythmische Gestaltung von Jazzimprovisationen.

Rechnerbasierte Musikanalyse einstimmiger Jazzsoli

Das Jazzomat-Projekt Forschungsbereiche & Anwendungen:

1. Jazzforschung, Jazzgeschichte, Stilanalyse.

2. Psychologie musikalischer Schaffensprozesse.

3. Musikinformatik, statistische Musikanalyse, MIR.

4. Jazzpädagogik, Jazztheorie, Didaktik des

Improvisierens. Team:

Prof. Dr. Martin Pfleiderer, Dr.-Ing. Jakob Abeßer, Dr. Klaus Frieler,

Wolf-Georg Zaddach, MA, Benjamin Burkhart, MA, Friederike Bartel,BA,

Transkripteure: Martin Breternitz, Peter Heppner, Yvette Kneisel, Benedikt Koch, Simon

Meininger, Benjamin Napravnik, Franziska Risch, Lydia Schulz, Amelie Zimmermann, Alaa

Zouiten

Projektseite: http://jazzomat.hfm-weimar.de/

Das Jazzomat-Projekt

Improvisationen

Analyse Transkriptionen

Kontext

Computer Mensch

Theorie

Transkriptionen • Wie können valide Transkriptionen erstellt werden?

• Performanz-orientierter statt notenbasierter Ansatz.

• Sequenzen von Tonereignissen, die mit metrischen,

harmonischen u.a. Kontextinformationen annotiert

werden.

• Tonereignisse mit definiertem Onset, definierter

Tonhöhe, definierter Dauer:

en = (tn, pn, dn)

Transkriptionen • Alle psychologische Größen sind unscharf und nur

bedingt abbildbar auf physikalische Größen.

• Diese Beschreibung von Improvisationen scheint

aber hinreichend gut für die meisten Jazzstile.

• Für andere eher insuffizient.

Chet Baker

Long Ago and Far Away

Evan Parker

Improvisation #1

Transkriptionen • Diese Beschreibung ist noch zu „dünn“ für viele

Anwendungen.

• Anreicherung durch:

– Metadaten (manuell),

– harmonischer Kontext (manuell),

– metrischer Kontext (semi-automatisch),

– Phrasen (manuell),

– Midlevel-Einheiten (manuell),

– Modulationen (manuell),

– Intensitäten (automatisch).

Transkriptionen: Praxis

Exkurs: Sonic Visualiser

Exkurs: Sonic Visualiser

http://www.sonicvisualiser.org/

Metadaten • Soloinformationen (Solist, Titel, Stil, Rhythm Feel,

Tempoklasse etc.),

• Kompositionsinformation (Komponist, Form,

Tonalitätstyp etc.),

• Aufnahmeinformationen (Albumtitel, LC Nr, Track

Nr., Sidemen, Jahr, MusicBrainzID etc.),

• Transkriptionsinformationen (wer, wie, wann).

Harmonischer Kontext • Harmonischer Kontext:

– als Teil der Komposition,

– als Leitfaden im Kopf der Solisten,

– realisiert durch Harmonieinstrumente,

– mit Freiheiten bei der Ausgestaltung

(Alterationen, Substitutionen, Wechselakkorde).

• Transkription der klingenden Harmonien schwierig

und zeitaufwendig.

• Lösung: Akkordfolgen aus Leadsheet.

Metrische Annotation • Performance-orientierte Transkriptionen

Notwendigkeit metrischer Annotation.

• Flex-Q Algorithmus

– Manuell getappter Beattrack.

– Metrum: Periode des Beats (extern annotiert).

– Flexibles Gitter: Finde optimales Gitter für Ereignisse

zwischen zwei Beats Metrumsannotation

Metrische Annotation

2 1 3 4

Periode: 4

b1 b2 b3 b4

Beispiel: Swing Ratio

Die Swing Ratio (lang:kurz) beträgt im Mittel 4:3.

j

Beispiel: Swing Ratio

Swing Ratio ist variabel und tempoabhängig.

Phrasen • Phrasen sind wichtige perzeptuelle und produktive

musikalische Einheiten.

• Transkripteur annotiert Phrasen.

• Probleme:

– Variabilität in der Phrasenwahrnehmung.

– Nur ein Transkripteur.

Akustische Parameter • Wichtige expressive Mittel:

– Frequenzmodulationen,

– Intensität/Lautheit,

– Intonation.

• Manuelle Annotation von Modulationen durch die

Transkripteure (Vibrato, Bend, Fall-off, Slide).

• Lautheit ist nicht manuell zu annotieren.

• Dito: Intonation.

• Lösung: Automatisierung.

Akustische Messungen • Transkriptionen als Leitfaden für f0-Tracking und

Intensitätsmessung.

• Kennzahlen der f0-Kurven: Vibratofrequenz,

Vibratohub, f0-Gradient etc.

• Erlaubt auch Intonationsmessung.

• Nachträgliche automatisierte Annotation von

Intensitäten (Lautheit).

Abeßer, J., Cano, E., Frieler, K., Pfleiderer, M., & Zaddach, W.-G. (2015). Score-informed analysis of

intonation and pitch modulation in jazz solos. In: Müller,M. & Wiering, F. (Eds.), Proceedings of the 16th

International Society for Music Information Retrieval Conference, Malaga, 2015, pp. 823–829.

Modulationsmessung Beispiel: f0-Track, Vibrato

Stompin' At The Savoy, Coleman Hawkins (ts)

•

Beispiel: Vibrato • Saxophonisten mehr Vibratohub als Trompeter (35

cents vs. 25 cents).

• Vibratohub nimmt mit Tonhöhe ab (r=.28***)

Beispiel: Intonation

Mittelwert Non/N = .72

Beispiel: Intensitaet

Je höher & länger, desto lauter.

Jazzkaraoke mit Charlie

Charlie Parker

Ornithology 1946

Weimar Jazz Database • 299 Solotranskription von 47 verschiedenen Solisten

(Coltrane (13), Rollins (12), Shorter (10), Desmond (8), Davis

(8)…), über 120.000 Tonereignisse

• Chorusse: 1 (109), 2 (83), 3 (36), 4+ (71), max: 31

• Stile: Traditional (20), Swing (52), Bebop (35), Cool (38),

Hardbop (48), Postbop (101), Free (5, Ornette Coleman)

• Rhythm Feels: Swing (222), Twobeat (21), Latin (20), Ballad

(18), Funk/Rock (14), Mixed (4),

• Tonalitätsklassen: Functional (193), Blues (57), Modal (20),

Color (20), Free (9)

• Metren: 4/4 (284), 3/4 (6), andere (6)

• Tempoklassen: Slow (28), Medium Slow (21), Medium (54),

Medium up (70), Up (126)

• Finale Version: ~450 Transkriptionen (Frühling 2017)

Tempoverteilung

Features • Features sind nummerische oder symbolische

repräsentierte Eigenschaften von Melodien.

• Meist ermittelt aus Abstraktionen der melodischen

Oberfläche.

• Externe Metadaten sind auch Features.

• Möglichkeitsraum der Feature ist potenziell unbegrenzt

(Baukastensystem „feature machine“).

• Derzeit über 600 Features vordefiniert.

• Problem der Featureselektion.

Abstraktionen: Beispiele • Abs. Chromaklasse (pc)

• C=0, C#=1… Bb=10, H=11.

• Harmonische Chromaklasse (cpc):

• Grundton des umliegenden Akkordes = 0, dann wie

pc.

• Diatonische harmonische Chromaklasse (cdpc).

• Grundton = 1, Terz = 3, Quart = 4 etc., T: Tritonus,

B: kleine Terz in Dur-Akkord, >=gr. Terz in

Mollakkord, L= gr. Sept in Mollakkord, <= kl. Sept in

Durakkord.

• Halbtonintervalle (int)

Beispiel: abstraction • Ausschnitt aus Bob Bergs Solo auf „Angles“

• pc: 10 8 9 10 8 9 8 7 6 5 6 9 5 7 6 5 9 7 4 0 10

• cpc : 7 5 6 7 5 6 5 4 3 2 4 6 2 4 3 2 6 4 1 9 7

• cdpc: 5 4 T 5 4 T 4 3 B 2 3 T 2 3 B 2 T 3 2 6 5

• int: -2 1 1 -2 1 -1 -1 -1 -1 2 2 -4 2 -1 -1 4 -2 -3 -4-2

Beispiel: intervallverteilung

intervallverteilung

Beispiel: intervallentropie

Vergleich: Miles vs. Trane John Coltrane Miles Davis

Rhythmus Schnelle Linien („Sheets of

sound“)

Rhythmisch variabler

Längere Töne & mehr Pausen

Intervalle Mehr fallende Mehr aufsteigende

Weniger Tonwiederholungen Mehr Tonwiederholungen

Größere Intervalle Kleinere Intervalle

Mehr Terzen/Arpeggien Weniger Terzen

Tonhöhe Großer Tonumfang Geringer Tonumfang

Vermeidet Terzen, mehr Blue

Notes

Midlevel Units Mehr Linien, expressive Ideen

& Fragmente

Mehr Licks, Melodien & Leer

Patterns Mehr Patterns Weniger Patterns

Keine gemeinsames Mustervokabular

Miles vs Trane: Intervalle

Intervallklassen

p = 0.000

Cramer‘s V = 0.142

Miles vs Trane: Ambitus

Ambitus (Halbtöne)

R2 = 0.14

d= 0.965

Beispiel: Postbop vs. Hard/Bebop

Frieler, K., Pfleiderer, M., Abeßer, J., & Zaddach, W.-G. (2016). Chasing the Difference. Computer-

aided Comparison of Improvisation in Post-bop, Hard bop, and Bebop. In: Jazzforschung / Jazz

Research, 46.

Beispiel: So What (pc, BASS)

Frieler, K., Pfleiderer, M., & Zaddach, W.-G. (2016). Pitch class hierarchies in Miles Davis’s “So What”: Reconsidering

modal jazz improvisation with computer-based analysis tools. In: Beitragsarchiv zur Jahrestagung der Gesellschaft

für Musikforschung Halle/Saale 2015 – “Musikwissenschaft: die Teildisziplinen im Dialog”, Wolfgang Auhagen &

Wolfgang Hirschmann (Eds.), Mainz, Schott Campus

D-dorisch

Eb-dorisch?

Solo-Dramaturgie: Tonhoehenkurven

Frieler, K., Pfleiderer, M., Abeßer, J., & Zaddach, W.-G. (2016). “Telling a story”. On the dramaturgy of

monophonic jazz solos. Empirical Musicology Review, 11(1), Special Issue „Corpus Studies“

Solo-Dramaturgie Bob Berg: I Didnt Know What Time It Was

Ideenflussmodell der Improvisation

Frieler, K., Lothwesen, K.S., & Schütz, M. (in Vorbereitung). The Ideational Flow Model.

MIDLEVEL ANALYSE • Ziel: Die zugrundeliegenden „Ideen“ der Improvisatoren

auf eine mittleren Eben zu erfassen und

phänomenologisch zu beschreiben.

• Qualitatives Verfahren, inspiriert durch Inhaltsanalyse

und Grounded Theory.

• Ideenkategorien aus den Daten selbst generieren

(offene Kodierung, Verdichtung).

• Manuelle Annotation durch Transkripteure.

Frieler, K., Pfleiderer, M., Abeßer, J., & Zaddach, W.-G. (2016). Midlevel analysis of monophonic jazz

solos. A new approach to the study of improvisation. Musicae Scientiae, 20 (2). 143-162.

MIDLEVEL ANALYSE • Kontinuierliche und lückenlose Annotation des

musikalischen Geschehens.

• Keine Überlappung.

• Hierarchisches, unbalanciertes Kategoriensystem:

• 9 Hauptkategorien,

• 18 Unterkategorien,

• 39 Unter-Unterkategorien.

MLA: Kategorien • lick, lick_blues, lick_bebop: Eher kurzes melodisches

Motiv, rhythmisch und tonal divers, prägnante Gestalt.

• line: Melodische Sequenzen mit ausgeprägter

Direktionalität und rhythmisch eher einheitlich.

• line, line_tick: Klare Linien ohne Wendungen.

• line_wavy: Wellenlinien mit vielen Wendungen,

• line_interwoven: Zwei oder mehr verwobene Linien:

Aufsteigend Wellenförmig

MLA: Kategorien • rhythm: Rhythmischer Ausdruck steht im Vordergrund.

• rhythm_sr: Einzelner Ton, regelmäßiger Rhythmus.

• rhythm_si: Einzelner Ton, variierender Rhythmus.

• rhythm_mr, oscillation: Mehrere Töne, regelmäßiger

Rhythmus

• rhythm_mi: Mehrere Töne, variierender Rhythmus.

Oszillation

MLA: Kategorien • melody: Klarer melodischer Charakter, „cantabile“,

Themen-artig.

• void: Bewusstes Nicht-spielen, überlange Pausen.

• fragment: Kurze Partikel, Fehler?

• expressive: Ausdruck steht im Vordergrund,lange Töne,

„Screams“, „Honks“,

• theme: Bezug auf das Thema des Stückes.

• quote: Zitat aus einem anderen Stück.

MLA: Sonstiges • Neben den Kategorien werden auch Bezüge der

Midlevel-Einheiten (MLU) untereinander annotiert.

• Jede Phrase beginnt eine MLU, aber Phrase können

aus mehreren MLUs bestehen.

• Zusatzinformation zu Themen und Zitate.

MLA: EXAMPLE Sonny Rollins: Blue Seven

MLA: Verteilung

MLA: Motivketten

Anteil abgeleiteter Motive:

M = 25.1%, SD = 15.3%

MLA: Ideenvielfalt

Ideenflussmodell der Improvisation

Frieler, K., Lothwesen, K.S., & Schütz, M. (in Vorbereitung). The Ideational Flow Model.

Pattern im Jazz • Inwieweit trifft die Pattern-Hypothese zu?

• Lassen sich Patterns als Bausteine nachweisen?

• Welchen Anteil eines Solos machen Patterns aus?

• Dazu untersuchen wir exakte, realisierte Patterns.

• Exakte Patterns sind Teilfolgen (N-Gramme) aus einer

Menge von Sequenzen, die bestimmten Bedingungen

genügen.

• Die zugrundeliegenden Sequenzen sind Abstraktionen der

Tonfolgen der Soli.

Lange Patterns • Je länger ein N-Gramm desto unwahrscheinlicher ist

sein (mehrmaliges) Auftreten.

• Überzufällig häufiges Auftreten von langen N-Gramms

ist ein starkes Indiz für eingeübte Patterns.

• „Lang“ heißt hier: 12 oder mehr Töne (11 oder mehr

Intervalle).

• Maximale Länge: 30 (technisch/heuristisch bedingt).

• Systematische Suche nach langen Patterns (melpat).

Ergebnisse: Beispiele • 18-töniges int-Pattern von Bob Berg: „Angles“.

[-2, 1, 1, -2, 1, -1, -1, -1, -1, 2, 2, -4, 2, -1, -1, 4, -2]

• 17-töniges Charlie Parker int-Pattern: „Scrapple from

the Apple“ und „Billies Bounce“.

[-1, -2, -2, -2, -1, -2, -2, -1, 3, 3, 3, 2, -3, -2, 2, -3]

Beispiel: Patternpartitionen (Trane: Giant Steps, pitch)

© Lisa Krüger

Alle 31 1235 cdpc-Patterns in

Coltranes Solo auf „Giant Steps“

Zusammenfassung & Ausblick • Rechnergestützte, statistische und Korpus-basierte

Methoden in der Musikwissenschaft bieten interessante

neue Möglichkeiten.

• Quantitative Ansätze ergänzen und erhärten klassische

Ansätze.

• Die Möglichkeiten sind noch lange nicht ausgeschöpft.

Werbeblock

Download: http://jazzomat.hfm-weimar.de/download

Vielen Dank!