Metadaten und Merkmale zur Verwaltung von Persönlichen Musiksammlungen - Presentation - Low-Res

8/14/2019 Metadaten und Merkmale zur Verwaltung von Persnlichen Musiksammlungen - Presentation - Low-Res

1/43

usikmetadaten und merkmalehomas ngler

elegarbeit erteidigung

Metadaten und Merkmale

zur Verwaltung vonpersnlichen

Musiksammlungen


2/43



\ otivation \ nwendungsflle \ usikmerkmale \ erkmalsextraktion \ azit 02 / 24

# arstellung von nwendungsfllen im privaten mfeld

> ersnliche usiksammlungen als nwendungsbereich

# ntersuchung von udioaterialnalysetechniken undeschreibungsformen

> harakteristische erkmale und etadatenstandards

> rozess der erkmals und etadatenextraktion> xistierende sungen in diesem ereich

# onzeption und prototypische msetzung einer udio

nalyseomponente

ufgabenstellung


3/43



\ otivation \ nwendungsflle \ usikmerkmale \ erkmalsextraktion \ azit

genda

0 / 24

# otivation

# nwendungsflle auf private usiksammlungen

# usikmerkmale und metadaten# erkmals und etadatenextraktion

# azit und usblick


4/43




# erlagerung in den ereich digitaler edien

3INNESEMPNDUNGDER(APTIKRCKTINDEN(INTERGRUND

> re der ammlungen steigt .EUE:UGANGSMGLICHKEITENFR6ERWALTUNGNOTWENDIG

> rfordern moderne usikmerkmalsextraktionstechniken

und nformationsanreicherungsmethoden# npassung an die ahrnehmung des enutzers

ersnliche usiksammlungen


5/43




usikinformationsretrieval

[01]


6/43




# rdnen

# rientieren

# uchen# mpfehlen

# iedergabelisten und ixgenerierung

# erndern# emeinsam enutzen

nwendungsflle


7/43




+LASSISCH+NSTLERNAME!LBUMTITEL-USIKSTCKTITEL

3ICHTENBASIERTAKTUELLE,IEBLINGSSTCKEALLGEMEINE

&AVORITEN!RCHIV 'REUND+ONTEXTBEEINUSST-ETADATENFELDERBEDARF

-ODERN-USIKGENRE(ERKUNFTSLAND"ELIEBTHEIT

IEDERGABEHUGKEIT6ERFFENTLICHUNGSDATUM# ndividuelle trategien usikkontext

)NHALTLICHE%IGENSCHAFTENAKUSTISCHSUBJEKTIV

# glichkeit der ehrfachbelegung von etadatenfeldern "ENUTZERPROLFR-USIKKONTEXTEUNDRDNUNGSSTRATEGIEN

> ustausch und portierbar

rdnen


8/43




rientieren

+LASSISCH&ACETTENNAVIGATIONOVERBILD!NZEIGE

# odern

+ONTEXTBASIERTE3ICHTEN,ANDKARTE:EITLEISTEeziehungsnetz

'EOUND:EIT)NFORMATIONENUNDZUGEHRELATIONEN

-USIKKNSTLERGRUPPENSTCKEUNDELATIONEN +ONTENTBASIERTE3ICHTEN3CHIEBEREGLER&ELDNAVIGATION

6AGEUNGENAUEBZWSUBJEKTIVE!NGABEN

-IXZ" :EITLEISTE"EZIEHUNGSNETZZUSTZL)NFORMATIONEN

$AUMAUFHNLICHKEITSMATRIZENINHALTLKONTEXT


9/43




# erbalisierte nfrage

> extanfrage)3ODERgesprochene nfrage3,,

> tichwortsuche)3ODERuche durch natrlicheprache3,,

# nfrage mit udioinhalt

!NFRAGEDURCH-ELODIE3INGEN3UMMEN+LOPFEN -USIKBEISPIEL3,,

(YBRIDE!NFRAGE

6ERBALISIERTE!NFRAGE!NFRAGEMIT!UDIOINHALT3,,# ehr viel ontext und nhaltsinformationen bentigt

# nfragen oft unscharf formuliert

uchen


10/43




HNLICHKEITSMETRIKENAUS

> emeinschaftliches Filtern

> udiosignalanalyse nhaltsbasiertes Filtern> etadatenanalyse Kontextbasiertes Filtern

"ENUTZERPROLAUSWERTUNG-USIKGESCHMACKSPROL

# inbeziehung aller usikmetadatentypen mglich# robleme PopularittsverzerrungKalt-tart-Problem

# ,SUNGSINNVOLLE+OMBINATIONBZW!USWAHLUND

ICHTUNGSMGLICHKEITDERHNLICHKEITSMETRIKEN Z"%INBINDUNGEXISTIERENDER-USIKGESCHMACKSPROLE

VORDENIERTER3TEREOTYPENDEMOGRASCHES&ILTERN

mpfehlen


11/43




# rivate iedergabeliste vs formaler ix

> rzise und vage ngabe von vielfltigen nformationen

# rten der iedergabelistengenerierung $URCHEINANDERGEMISCHTGGFTEILORDNUNGSERHALTEND

ERSONALISIERTBZWCLEVER

!NFANGSWERTusikkontextDENITION!USWAHL EAKTIONS"EWERTUNGSFUNKTIONFR!NPASSUNG

iedergabelisten und ixe

[10]


12/43




'RE3TRUKTURRT!RTDER-USIKSAMMLUNGUNDSTCKE

(INZUFGEN%NTFERNEN!RCHIVIEREN3YNCHRONISIEREN

ERKZEUGGESTZTE6ERWALTUNGMIT(ILFEVONZ"ebrauchs und enutzungsanalysen

)NFORMATIONENBERZU-USIKSTCKEN

EILAUTOMATISIERTE%RGNZUNGENKORREKTURENAUF"ASIS DERJEWEILIGEN-USIKMETADATENTYPEN

ERKZEUGGESTTZTE!NPASSUNGENDURCH"ENUTZER

> usikkommentierungsspiele

erndern


13/43




# dministrative etadaten

"ENUTZERPROLEFRANGEPASSTE3ICHTENUND3TATISTIKEN

:UGANGSKONTROLLEARTY-ODUS &REIGABENGEMEINSAMES!RCHIV

> igitales usleihen

emeinsam enutzen

[11]


14/43




"EREITSTELLUNG6ERARBEITUNGVONUMFANGREICHENEXAKTEN

und vagen ngaben in verschiedenen ereichen

> usnutzung semantischer usammenhnge "ENUTZERPROLFR!NPASSUNGEN3TATISTIKEN

# nforderungen von derzeitig existierenden rogrammen zur

6ERWALTUNGVON-USIKSAMMLUNGENNOCHNICHTERFLLT

nforderungen


15/43




einfache Audiosignaleigenschaften

angereicherte Audiosignaleigenschaften

Taxonomien

physikalische Beschreibungen

perzeptuelle Eigenschaften raum-zeitliche Struktureigenschaften

Expertentaxonomien Folksonomien

Frequenz, Spektrum, Intensitt,

Dauer

Grobheit, Einschwingzeit,

Lautheit, ...

Tonhhe, Tondauer,

Klangfarbe

Harmonie, Rhythmus, Melodie,

Musikvortragsbezeichnungen

Industrietaxonomien,

Internettaxonomien

Genre, Stimmung, Instrumente, ...

usikmerkmale


16/43




+EINEALLGEMEINGLTIGE-USIKGENRETAXONOMIEMGLICH

# rten von usikgenretaxonomien

%XPERTENTAXONOMIENSTARRDENIERTHIERARISCHALTERND &OLKSONOMIENEXIBELSCHNELLWACHSENDRIESIG

> in dritter nsatz

EIL!UTOMATISCHE+LASSIKATION'RUPPIERUNGudiosignaleigenschaften

xpertentaxonomien

olksonomien "ENUTZERPROL

usikgenretaxonomien


17/43




# etadatentypen

BJEKTIV+NSTLER-USIKSTCKTITEL!LBUMTITEL

3UBJEKTIV-USIKGERNE3TIMMUNG"EKANNTHEITSGRAD# usikmetadatentypen

EDAKTIONELLE-ETADATENPROFESSIONELLGEMEINSCHAFTLICH

ERSTELLTZ"ADMINISTRATIVE$ATEN+NSTLERBIOGRAEN +ULTURELLE-ETADATENDURCH+ULTUR-ILIEUERZEUGTDH

-USIKINEINEM+ONTEXTZ"-USIKSTILHNLICHE+NSTLER

!KUSTISCHE-ETADATEN'RUNDTONARTEMPOHYTHMUS -ELODIE+LANGFARBE

usikmetadaten


18/43




&ORMATGEBUNDENE3PEZIKATIONEN3

&ORMATUNABHNGIGE3PEZIKATIONEN

> tandards P-7P-21> ntologien usic ntologyINKL%RWEITERUNGEN

# udiosignaltrgerkatalogisierungsdienste

> BfreeBusicBrainziscogsllmusic# usikempfehlungs und entdeckungsdienste

> ast.fmPandoramazonockanangoROJEKT

usikmetadatenformate und dienste


19/43




usikmetadatenformate und dienste

NTERSTTZUNGUNDUALITTNACH-USIKMETADATENTYPEN

redaktionelle kulturelle akustische

formatgebunden 7 und 21 usic ntology B

freeB usicBrainz iscogs llmusic

ast.fm Pandora mazon ockanango


20/43




erkmalsextraktion

[12]


21/43




Musikdokument

Audiosignal

Signalabtastung

Analyse-/Texturenster

Zeit-Frequenz-Transormation

Perzeptionsmodelle

Histogramme

Direkte Statistiken

Spektralstatistiken

Perzeptionsstatistiken

MusikalischerFingerabdruck

STFT,DWT,VRT, ...

Mel-Skala,Bark-Skala

Rhythmus, Tonhhe,

Klangfarbe

udiosignalextraktion

AHMENWERKE

> Yamp

# rogrammiersprache hucK

# Web ervices

> cho est


22/43




Musikdokument

Metadaten

Audiosignalanalyse

Metadatenanreicherung

Merkmalsvektoren

Klassifkation, Einordnung, hnlichkeiten

Persnliche Musikwissensbasis

Jaudiotagger,TagLib,Aperture,

Echo Nest, ...

Web Services, Suchmaschinen,

Musikinormationsseiten, SPARQL-Endpunkte, lokal bzw. privaten

Netzwerk, ...MultivariateAnalysemethoden,

Maschinelles Lernen,Ontologien

Triple bzw. Quad Store,audioDB

etadatenextraktion


23/43




# azit

> odellierung des usikwahrnehmungs und erarbeits

prozesses ist komplex

> ombination der erkmalsextraktionstechniken und

!NPASSUNGANDAS"ENUTZERPROLNOTWENDIG

NSCHRFEUND!BSTRAKTIONFRINTUITIVENMGANG> ntologiebasiertes etadatenformat usic ntology

FRFORMATGEBUNDENEUNDUNABHNGIGE3PEZIKATIONEN

> mfangreiche persnliche usikwissensbasisals 'RUNDLAGEFRBESSERE"ENUTZUNGDER-USIKSAMMLUNG

azit und usblick


24/43




azit und usblick

# usblick

> mplementierung einer persnlichen usikwissensbasis

> usnutzung des Web of ata FRISSENSANREICHERUNG

> ntologiebasiertes usikmetadatenformat in

usikdokumenten

> rweiterung der usic ntologyiedergabelisten MODELLIERUNGERWEITERTES6ERFFENTLICHUNGSKONZEPT

> ptimierung der xtraktionsablufe UND

%INORDNUNGS+LASSIKATIONSUNDEGRESSIONSTECHNIKEN > igitales usleihen

!NFRAGENPERNATRLICHER3PRACHETEXTUELLMNDLICH


25/43




;= AVIER3ERRA3OUNDAND-USIC$ESCRIPTIONRESENTATIONAT-USICECHNOLOGY'ROUPNIVERSITATOMPEU&ABRA "ARCELONA[02] usschnitt aufgenommen von der icht over Flowin iunes;= !USSCHNITTAUFGENOMMENVONHTTPWWWLASTMUSICMAPCOM;= VESAIMOND!$ISTRIBUTED-USIC)NFORMATION3YSTEMH$THESISUEEN-ARYNIVERSITYOF,ONDON.OVEMBER

;= !USSCHNITTAUFGENOMMENVONHTTPAUDIOMAPTUNEGLUENET;= !USSCHNITTAUFGENOMMENVONHTTPNETUNESMUSICLENSDE;= !USSCHNITTAUFGENOMMENVONHTTPMUSICOVERYCOM;= !USSCHNITTAUFGENOMMENVONHTTPWWWSFUCAJDYIMMUSICIAN-APMUSICIAN-APHTML[09] usschnitt aufgenommen von der icht MUNVISION in X P3 aker 15;= !NITA3HEN,ILLIE-USIC"OX.AVIGATINGTHESPACEOFYOURMUSIC-ASTERSTHESIS3CHOOLOF!RCHITECTUREAND LANNING-ASSACHUSETTS)NSTITUTEOFECHNOLOGY3EPTEMBER[11] eispiel ist von der entktion abgeleitet siehe HTTPRHIZOMIKNETROBERTOTHESISHTMLONCEPTUALISATIONHTML!CTIONENT;= RISTAN*EHANREATING-USICBY,ISTENINGH$THESIS3CHOOLOF!RCHITECTUREANDLANNING-ASSACHUSETTS )NSTITUTEOFECHNOLOGY3EPTEMBER;= HTTPIMSDEIUNIPDITWEBSITESCMSRESEARCHMUSICINFORMATIONRETRIEVALHTML;= ,UIS'USTAVOEREIRA-ARQUES-ARTINS!OMPUTATIONAL&RAMEWORKFOR3OUND3EGREGATIONIN-USIC 3IGNALSH$THESIS&ACULDADEDE%NGENHARIADANIVERSIDADEDOORTO3EP;= -ICHAEL&INGERHUT-USIC)NFORMATIONETRIEVALORHOWTOSEARCHFORANDMAYBENDMUSICANDDOAWAYWITH INCIPITS)N)NTERNATIONAL!SSOCIATIONOF3OUNDAND!UDIOVISUAL!RCHIVES)!3!ONFERENCESLO.ORWEGEN ;= HOMAS,IDY%VALUATIONOF.EW!UDIO&EATURESANDHEIRTILIZATIONIN.OVEL-USICETRIEVAL!PPLICATIONS-ASTERS THESIS)NSTITUTFR3OFTWARETECHNIKUND)NTERAKTIVE3YSTEMEECHNISCHENNIVERSITTIENIENSTERREICH $EZEMBER;= !LIAKSANDR6ARADZINETS6ARIABLEESOLUTIONRANSFORMBASED-USIC&EATURE%XTRACTIONANDTHEIR!PPLICATIONSFOR -USIC)NFORMATIONETRIEVALH$THESIS%COLEENTRALEDE,YON

ilderverzeichnis

ik d d k l


26/43




B HTTPWWWGRACENOTECOM

freeB HTTPWWWFREEDBORG

usicBrainz HTTPMUSICBRAINZORG

iscogs HTTPWWWDISCOGSCOM

llmusic HTTPWWWALLMUSICCOM

ast.fm HTTPWWWLASTFMDEPandora HTTPWWWPANDORACOM

ockanango HTTPWWWARISTOMUSICCOM

mazon HTTPWWWAMAZONCOM

usikmetadatendiensteverzeichnis

ik t d t d k l


27/43




Y 'EORGEZANETAKIS-ANIPULATION!NALYSISANDETRIEVAL3YSTEMSFOR!UDIO 3IGNALSH$THESISOMPUTER3CIENCE$EPARTMENTRINCETONNIVERSITY AVIER!MATRIAINAU!RUMIAND$AVID'ARCIA,!-!&RAMEWORKFOR %FCIENTANDAPID$EVELOPMENTOFROSSPLATFORM!UDIO!PPLICATIONS)N ROCEEDINGSOF!--ULTIMEDIAPAGESq3ANTA"ARBARAALIFORNIA

3!KTOBERamp HTTPWWWVAMPPLUGINSORGhucK 'EANGEBECCA&IEBRINKANDERRYOOKOMBINING!NALYSISAND3YNTHSIS INTHEHU+ROGRAMMING,ANGUAGE)NROCEEDINGSOFTHE)NTERNATIONAL OMPUTER-USICONFERENCE)-+OPENHAGEN$NEMARK HTTPWWWMUSCLENOEORG

choest HTTPTHEECHONESTCOMJaudiotagger HTTPWWWJTHINKNETJAUDIOTAGGERINDEXJSPperture HTTPAPERTURESOURCEFORGENETINDEXHTMLagib HTTPDEVELOPERKDEORGWHEELERTAGLIBHTMLaudioB HTTPOMRASDOCGOLDACUKSOFTWAREAUDIODB

AHMENWERKE$IENSTE$ATENBANKEN

ik t d t d k l


28/43




-)IM+ONTEXT

[1]

usikmetadaten und merkmale


29/43




usikwahrnehmung

[14]



30/43




# lassisch

> acetttennavigation

> overbildnzeige

rientieren

[02]



31/43




-ODERNKONTEXTBASIERTE3ICHTEN,ANDKARTE

'EO)NFORMATIONENUNDZUGEHRIGEELATIONEN

6ERFFENTLICHUNGSLAND+NSTLERGEBURTSORT+ONZERTORTE

rientieren

[0]



32/43




-ODERNKONTEXTBASIERTE3ICHTEN:EITLEISTE

:EIT)NFORMATIONENUNDZUGEHRIGEELATIONEN

6ERFFENTLICHUNGSJAHR+NSTLERGEBURTSJAHR:EITINTERVALL

VON+NSTLERKOOPERATIONEN

rientieren

[04]



33/43




-ODERNKONTEXTBASIERTE3ICHTEN"EZIEHUNGSNETZ

-USIKKNSTLERGRUPPENSTCKEUNDZUGEHRIGE

ELATIONEN

+NSTLERXgehrt zu ruppeY-USIKSTCKWist ein

EMIXVON-USIKSTCK

rientieren

[05]

2 / 24

/ 24



34/43

homas ngler



-ODERNKONTENTBASIERTE3ICHTEN$.ETZ3CHIEBEREGLER

FTVAGEUNGENAUEBZWSUBJEKTIVE!NGABEN

,AUTSTRKEEMPO'ESANGSSTIMME)NSTRUMENTIERUNG

rientieren

[0]



35/43

homas ngler



-ODERNKONTENTBASIERTE3ICHTEN&ELDNAVIGATION

3TIMMUNGANZBARKEIT

rientieren

[07]



36/43

homas ngler


\ otivation \ nwendungsflle \ usikmerkmale \ erkmalsextraktion \ azit / 24

-IX:EITLEISTE"EZIEHUNGSNETZZUSTZLICHE)NFORMATIONEN

rientieren

[08]



37/43

homas ngler



-IX$AUMARAMETRISIERUNGVON!CHSEN'RE&ARBE

HNLICHKEITSMATRIZEN

rientieren

[09]



38/43

homas ngler



usikmerkmale und metadaten

[15]



39/43

homas ngler



# hythmus-usterOBENhythmus-istogrammUNTEN

HYTHMUSHISTOGRAMM

[1]

usikmetadaten und merkmaleh l


40/43

homas ngler



langfarbenhistogramm

# pektrogramm zur langfarbenreprsentation[17]



41/43

homas ngler



etadatenextraktion

# etadatenextraktion aus usikdokumenten

*AUDIOTAGGERagibcho est

# etadatenanreicherung durch nformationssuche

> Web ervices3UCHMASCHINENPQndpunkte

,OKALBZWPRIVATER.ETZWERKE

+LASSIKATION:UORDNUNGUNDHNLICHKEITEN

-ULTIVARIATE!NALYSEMETHODENLUSTER-$3+..

-ASCHINELLES,ERNEN(--36-Boosting

> ntologien imilarity ntology# ersnliche usikwissensbasis

> Quad toreaudioB


Q f


42/43

homas ngler



PQnfrage

Bune HTTPDBTUNEORG

BB Backstage HTTPBBCOPENLINKSWCOMSPARQL


!BK


43/43

homas ngler



Y Music ANALYSISRETRIEVALANDSYnthesis for Audio Signals

C Library for Audio and Music

Multimedia Understanding through SEMANTICSComputation and LEarning

F ShortTime FourierTransformation

W Diskrete WaveletTransformation Variable Resolution Transform

PQ S!,Protocol and R Query Language

MultiDimensionale Skalierung

K KNSTLICHENeuronale Netze

HiddenMarkovModelle

SupportVektorMaschinen

4 / 24

!BKRZUNGEN

Documents

Metadaten und Merkmale zur Verwaltung von Persönlichen Musiksammlungen - Presentation - Low-Res