19
Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin

Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Embed Size (px)

Citation preview

Page 1: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Lecture 8:Maschinelles Lernen mit multiplen KernenMarius KloftHU Berlin

Page 2: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Marius Kloft - Maschinelles Lernen mit multiplen Kernen

• Zielstellung

▫ Erlernen des Zusammen-hanges zweier Zufallsgrößen und

auf Grundlage von Beobach-tungen

• Kernbasiertes Lernen:

Maschinelles Lernen

2/18

• Beispiel

▫ Erkennung von Objekten in Bildern

Page 3: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Marius Kloft - Maschinelles Lernen mit multiplen Kernen

Kernbasiertes Lernen

• Kernbasiertes Lernen

▫ Daten

Klassenzugehörigkeiten

▫ Kern ist eine Funktion

so dass eine Abbildung existiert mit

▫ Kernbasiertes Lernen:

Erlernen linearer Trennung im Merkmalsraum

▫Nicht-lineare Trennung im Ursprungsraum

Mathematisches Programm

6/18

Page 4: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Marius Kloft - Maschinelles Lernen mit multiplen Kernen

Multiple Sichtweisen / Kerne

3/18

Sichtweisen wie kombinieren?

Gewichtungen

(Lanckriet et al., JMLR 2004)

Form

Raum

Farbe

Page 5: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Marius Kloft - Maschinelles Lernen mit multiplen Kernen

Bestimmung der Gewichte?

4/18

• Bisher

▫ „Spärliche“ Gewichtungen

Kerne / Sichtweisen werden komplett ausgeschaltet

▫Kann nachteilhaft sein

Page 6: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Marius Kloft - Maschinelles Lernen mit multiplen Kernen

Von der Vision zur Wirklichkeit?

• Bisher: Spärliches Verfahren

▫ Wiederholt von ungewichtetem Verfahren übertroffen

10/21

(Gehler et al., Noble et al., Shawe-Taylor et al., NIPS 2008, Cortes et al., ICML 2009)

• Nun: Neue Methodologie

▫ Effiziente nicht-spärliche Informationsfusion

Schärfere Lern-schranken: O(M/n)

Biologie & Maschi-nelles Sehen

Effiziente Algorithmen

(K., 2011,2012,2013; K. et al., 2009a/b, 2010, 2011, 2012, 2013)

Page 7: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Marius Kloft - Maschinelles Lernen mit mehreren Kernen

Vorstellung der MethodologieNicht-spärliches Lernen mit mehreren Kernen

Page 8: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Marius Kloft - Maschinelles Lernen mit multiplen Kernen

Farbe

• Generelle Formulierung

▫ Erstmalig beliebiger Verlust

▫ Erstmalig beliebige Normen

z. B. lp-Normen:

Neue Methodologie

• Lernen mit mehreren Kernen

▫ Gegeben Kerne

Betrachte gewichtete Summe

~ gewichtete Merkmalsräume

Gewichte bestimmen?

▫ Mathematisches Programm

7/18

Kloft et al., ECML 2010, JMLR 2011

Optimierung über Gewichte

Form

Raum

Page 9: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Marius Kloft - Maschinelles Lernen mit multiplen Kernen

• Algorithmen

1. Newton-Methode

2. Sequentielle, quadratisch-bedingte Programmierung

3. Blockkoordinaten-Algorithmus

Alterniere

Optimiere bezüglich w

Optimiere bezüglich %:

Bis Konvergenz (bewiesen)

• Implementierung

▫ In C++ (“SHOGUN Toolbox”)

Matlab/Octave/Python/R support

▫ Laufzeit:

~ 1-2 Größenordnungen effizienter

Optimierung

10/18

(Kloft et al., JMLR 2011)

(Skizze)

(Kloft, Mohri, Cortes, NIPS 2013 submitted)

Page 10: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Marius Kloft - Maschinelles Lernen mit multiplen Kernen

• Theorem (Kloft & Blanchard)

▫ Konvergenz mit Rate

bisher beste Rate:

Üblicherweise

Zwei Größenordnungen besser für

▫ Beweis der Optimalität der Rate

Theoretische Fundamente

• Theoretische Klärung

▫ Aktives Thema

▫ Präliminarien

Sei die Ausgabe der Multi-Kern-Lernmaschine (vorige Folie)

▫Konvergenz gegen Ausgabe der theoretisch-optimalen Maschine?

8/18

(Cortes et al., ICML 2010)

Kloft & Blanchard, NIPS 2011 & JMLR 2012

Kloft, Bach, et al., NIPS Workshop on New Directions in Multiple Kernel Learning, 2010

Page 11: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Marius Kloft - Maschinelles Lernen mit multiplen Kernen

• Konvergenzrate durch Eigenwerte bestimmt

▫ Sei j-ter Eigenwert des m-ten Kerns

▫ Bisher beste Konvergenzrate:

▫ Neue Rate: für beliebige gilt

▫ Wähle . Konvergenzrate

Cortes et al., ICML 2010

Kloft & Blan-chard, JMLR 2012

Theoretische Fundamente

j-ter Ei-genwert(sortiert)

Index j

Für z.B. Gausskerne

9/18

Page 12: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Marius Kloft - Maschinelles Lernen mit multiplen Kernen

• Visuelle Objekterkennung

▫ Zielstellung: Annotation visueller Medien (z. B. Bilder):

▫ Motivation:

 inhaltsbasierter Bildzugriff

Anwendungsgebiet: Maschinelles Sehen

11/18

Flugzeug Fahrrad Vogel

Binder, Kloft, et al., PLoS One, 2012

Page 13: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Marius Kloft - Maschinelles Lernen mit multiplen Kernen

• Visuelle Objekterkennung

▫ Zielstellung: Annotation visueller Medien (z. B. Bilder):

▫ Motivation:

 inhaltsbasierter Bildzugriff

Anwendungsgebiet: Maschinelles Sehen

• Multiple Kerne

▫ basierend auf

Pixelfarben

Formen

(Gradienten)

lokale Merkmale

(SIFT-Wörter)

räumliche Merkmale

11/18

• Empirische Analyse

▫ Datensatz: PASCAL VOC’08

▫ Genauigkeitsgewinn gegenüber uniformer Kerngewichtung:

Gewinner: ImageCLEF 2011 Photo Annotation challenge!

Binder, Kloft, et al., PLoS One, 2012

Page 14: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Marius Kloft - Maschinelles Lernen mit multiplen Kernen

• Methodik ist generell

▫ Weitere Anwendungsbereiche?

▫ Text und Speech Mining

Bag of Words, n-Grams, Grammatik, Semantik, ...

▫ Neurowissenschaften & Robotik

Multiple Modalitäten

Weitere Anwendungsgebiete

• Biologie / Genetik

▫ Zielstellung:

Prädiktion von Phenotyp

▫ Multiple, heterogene Daten

Genomische Signale (DNA)

▫SNPs, CNVs, Sequenzmotive

RNA und Protein Expression

Klinische Patientendaten

▫Messungen, Diagnosen, demographische Daten, ...

12/18

Page 15: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Marius Kloft - Maschinelles Lernen mit multiplen Kernen

• Generkennung – Detektion von

▫ Transkriptionsstartpunkten:

• mittels Kernen basierend auf:

▫ Sequenzalignment

▫ Nukleotidverteilung

downstream, upstream

▫ Faltungseigenschaften

Bindungsenergien, Winkel

• Empirische Analyse

▫ Detektionsgenauigkeit (AUC):

ARTS Gewinner eines Vergleichs von 19 Modellen

Höhere Genauigkeiten durch nicht-spärliches Verfahren

(Abeel et al., 2009)

Abb. aus Alberts et al. (2002)

K. et al., NIPS 2009, JMLR 2011

13/18

Anwendungsgebiet: Bioinformatik

(Sonnenburg et al., 2006)

Page 16: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Marius Kloft - Maschinelles Lernen mit multiplen Kernen

• Vorhersage von Proteinfaltungs-klassen

▫ Faltungsklasse eines Proteins beeinflusst dessen Funktion

Von Bedeutung bei der Entwicklung von Arzneimitteln

▫ Datensatz: Ying et al., 2009

27 Klassen

12 Kerne

▫Primärstruktur (Strings), Hydrophobizität, Polarität, …

• Vorhersagegenauigkeit

▫ 6% höhere Genauigkeit durch vorgeschlagenes, nicht-spärliches Verfahren

14/18

Anwendungsgebiet: Bioinformatik

Primär-struktur

K., 2011

Page 17: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Marius Kloft - Maschinelles Lernen mit multiplen Kernen

Zusammenfassung

15/18

Algorithmen

Lernschranken

Appli-kationen

Visuelle Objekterkennung

Gewinner des Image-CLEF Wettbewerbs

Bioinformatik

Genauerer TSS-Er-kenner als Gewinner internat. Vergleichs

Page 18: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Ausgewählte relevante Arbeiten

▫ Kloft, Brefeld, Sonnenburg, Zien (2011). Lp-Norm Multiple Kernel Learning. Journal of Machine Learning Research (JMLR), 12(Mar):953-997.

▫ Kloft , Blanchard (2012). On the Convergence Rate of Lp-norm Multiple Kernel Learning. Journal of Machine Learning Research (JMLR), 13(Aug):2465-2502.

▫ Kloft, Laskov (2012). Security Analysis of Centroid-based Online Anomaly Detection. Journal of Machine Learning Research (JMLR), 13(Dec):3647-3690.

▫ Kloft, Brefeld, Sonnenburg, Laskov, Müller, Zien (2009). Efficient and Accurate Lp-norm Multiple Kernel Learning. Advances in Neural Information Processing Systems 22 (NIPS 2009):997-1005.

▫ Kloft and Blanchard (2011). The Local Rademacher Complexity of Lp-Norm Multiple Kernel Learning. Advances in Neural Information Processing Systems 24 (NIPS 2011), pages 2438-2446.

▫ Kloft, Mohri, Cortes (2013). Learning Kernels Using Local Rademacher Complexity. Advances in Neural Information Processing Systems 26 (NIPS 2013), submitted.

▫ Kloft, Rückert, Bartlett (2010). A Unifying View of Multiple Kernel Learning. Proceedings of the European Conference on Machine Learning and Knowledge Discovery in Databases, ECML 2010: 66-81.

▫ Kloft (2011). Lp-norm Multiple Kernel Learning. Dissertation, Technische Universität Berlin, Oct 2011.

▫ Kloft (2012). Maschinelles Lernen mit Multiplen Kernen. Hölldobler et al.: Ausgezeichnete Informatikdissertationen (LNI D-12), 111-120.

▫ Kloft (2013). Kernel-based Machine Learning with Multiple Sources of Information. Information Technology, 55(2):76-80.

▫ Kloft, Brefeld, Laskov, Sonnenburg (2008). Non-sparse Multiple Kernel Learning. Proceedings of the NIPS 2008 Workshop on Kernel Learning: Automatic Selection of Kernels.

▫ Binder, Nakajima, Kloft, Müller, Samek, Brefeld, Müller, Kawanabe (2012). Insights from Classifying Visual Concepts with Multiple Kernel Learning. PLoS ONE 7(8):e38897.

▫ Jessen, Kloft, Zien, Sonnenburg, Müller (2012). A Scatter-Based Prototype Framework and Multi-Class Extension of Support Vector Machines. PLoS ONE 7(10):e42947.

▫ Widmer, Kloft, Rätsch. Multi-task Multiple Kernel Learning. Journal of Machine Learning Research, forthcoming.

▫ Widmer, Kloft, Görnitz, Rätsch (2012). Efficient Training of Graph-Regularized Multitask SVMs. Proceedings of the European Conference on Machine Learning and Knowledge Discovery in Databases,

ECML 2012: 633-647.

Page 19: Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this

Externe Referenzen

▫ Abeel, Van de Peer, and Saeys (2009).  Toward a gold standard for promoter prediction evaluation. Bioinformatics, pages i313-i320.

▫ Bach, Lanckriet, and Jordan (2004).  Multiple kernel learning, conic duality, and the SMO. Proceedings of the 21th International Conference on Machine Learning (ICML 2004).

▫ Lanckriet, Cristianini, Bartlett, El Ghaoui, and Jordan (2004). Learning the Kernel Matrix with Semidefinite Programming. Journal of Machine Learning Research (JMLR).

▫ Yang, Huang, and Campbell (2009). Enhanced protein fold recognition through a novel data integration approach. BMC Bioinformatics, 10:267.