Click here to load reader

Maschinelles Lernen und Neural Computation

  • View
    38

  • Download
    0

Embed Size (px)

DESCRIPTION

Maschinelles Lernen und Neural Computation. 840.042, VO, 1 Std. SS 2011 Georg Dorffner Inst. f. Artificial Intelligence Zentrum für Med. Statistik, Informatik und Intelligente Systeme Medizinische Universität Wien www.meduniwien.ac.at/user/georg.dorffner/lv/mlnc.html. Überblick. - PowerPoint PPT Presentation

Text of Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Maschinelles Lernen undNeural Computation840.042, VO, 1 Std.WS 2015/16Georg DorffnerInst. f. Artificial Intelligence Zentrum fr Med. Statistik, Informatik und Intelligente SystemeMedizinische Universitt Wienwww.meduniwien.ac.at/user/georg.dorffner/lv/mlnc.html

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*berblickGrundlagen ML/NCberwachtes Lernen: Klassifikationberwachtes Lernen: RegressionLernen als OptimierungKomplexe Lerner in der PraxisUnberwachtes LernenEnsemble MethodenKernel Methoden

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Begleitende LiteraturDuda R., Hart P.E., Stork D.G.: Pattern Classification, 2nd edition, New York: Wiley, 2001.

    Bishop C.M.: Pattern Recognition and Machine Learning, New York: Springer, 2006.

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Kapitel1: Grundlagen

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Maschinelles Lernen mgliche DefinitionenComputerprogramme, die sich mit Erfahrung verbessern (Mitchell 1997) (Artificial Intelligence)Auf der Basis von Beispielen nichttriviale Strukturen in Daten finden (Mustererkennung, Data Mining)Ein Modell der Daten schtzen, die diese beschreiben (Statistische Datenanalyse)

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Einige VorausetzungenMerkmale (Features)Beschreiben die Flle des ProblemsMessungen, DatenLerner (Version Space)Eine Klasse von ModellenLernverfahrenEin Algorithmus, der das beste Modell findetGeneralisierungStruktur/Datenmodell soll neue Daten beschreiben knnen

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*FeaturesQualitativ, nominalz.B.: [Student, Arbeiter, Angestellter]Qualitativ, ordinal (enthlt Ordnung)z.B.: [schlecht, mittelmig, gut]Numerisch, metrischIntervallskala: kein natrlicher Nullpunkt, nur Differenzen bedeutungsvoll (z.B. Temp in C)Verhltnisskala: natrlicher Nullpunkt, auch verhltnisse bedeutungsvoll (z.B. Gre in m)Diskret: nur endlich viele Werte (z.B. Anzahl)Stetig: theoretisch unendlich viele Werte (z.B. Lnge)

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Beispiellerner: PerceptronFeatures: 2 numerische Werte (gezeichnet in Ebene)Aufgabe: Teile in zwei Klassen (wei und schwarz)Lerner (version space): Trenngerade durch den UrsprungLernregel: Nimm NormalvektorAddiere den Punktvektor eines falsch klassifizierten BeispielsDrehe Gerade, sodass neuer Vektor der Normalverktor wirdSolange bis alles richtig klassifiziertGeneralisierung: neue Punkte richtig klassifiziertKonvergenz garantiert, wenn Problem lsbar(Rosenblatt 1962)

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Arten des Lernensberwachtes Lernen (supervised learning)Zuordnung der Daten (Label) bekanntFinde Zusammenhnge mit InputBeispiele: medizinische Diagnose, TemperaturvorhersageUnberwachtes Lernen (unsupervised learning)Finde Struktur in den DatenBeispiele: Marktsegmentierung, VisualisierungReinforcement LearningFinde Zusammenhnge anhand von globalem FeedbackBeispiele: Steuerung einer Roboterhand, Lernen von Spielen

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Neural ComputationUrsprnglich biologisch motiviert (daher der Name)Lerner als Netzwerk einfacher Einheiten beschreibbarStrke: beliebige nichtlineare Modelle (z.B. nicht nur Geraden)Voraussetzung: numerische FeaturesQualitative Features: als Binrcode (z.B. 1-aus-n)

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Das einfache mathematische ModellPropagierungsregel:Gewichtete SummeEuklidischer Abstand (spter)Transferfunktion f:Schwellwertfkt. (McCulloch & Pitts)Lineare Fkt.Sigmoide Fkt. yj f xjw1w2wiGewichtUnit (Neuron)Aktivierung, Output(Netto-) Input

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Perceptron als neuronales NetzInputs sind zufllige FeaturedetektorenBinr kodiertPerceptron lernt Klassifikation

    Modell der Wahrnehmung / ObjekterkennungNeuron.eng.wayne.edu

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Perceptron Learning Rule als GewichtsadaptionRosenblatt (1962)Zielvorgabe (target) notwendig = LehrerInput wird dazugezhlt (abgezogen), wenn Output falschVerwendung: Klassifikation (Original: Input = visuelle Vorverarbeitung)

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*BiasGewichtete Summe nicht vollstndig

    Trenngerade geht immer durch UrsprungKonstante notwendigRealisierung: zustzliche Unit, immer auf 1 gesetzt (Bias Unit)w0

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Vektor- und MatrixnotationLineares Perceptron ist Multiplikation des Input-Vektors mit der GewichtsmatrixKompakte SchreibweiseHilfsmittel aus Vektoralgebra

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Einschub: MatrixmulitplikationMultiplikation zweier Matrizen:

    elementweise multiplizieren und addieren Spaltenzahl der 1.Matrix = Zeilenzahl der 2. Resultat: Zeilen der 1. X Spalten der 2. Matrix

    Vektoren als Matrizen:

    inneres Produkt ueres Produkt T ... Transpose (um Diagonale kippen)

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Sigmoide TransferfunktionOutputs begrenzt auf [0,1]Quasi-linear um 0Mgliche Interpretation: WahrscheinlichkeitImmer wahrscheinlicher

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Mehrebenen-Perceptron (MLP)2 (oder mehrere) Schichten (= Verbindungen)Input UnitsHidden Units (typisch sigmoid)Output Units(typisch linear)

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Gewichtsadaption: BackpropagationVerallgemeinerte Delta-RegelWhidWoutyhid, xhidyout, xoutFehler wird rckpropagiertPseudofehler an den Hidden Units

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Backpropagation als GradientenverfahrenDefiniere (quadratischen) Fehler (fr Muster l):

    Minimiere Fehlerndere Gewichte in Richtung des Gradienten

    Kettenregel ergibt Backpropagation

    (partielle Ableitung nach dem Gewicht)

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Einschub: KettenregelDifferenzieren von verschachtelten Funktionen: uere Ableitung x innere Ableitung nur 1 Summand abh. nur 1 Summand:M Wege um Gewicht zu erreichen usf.:

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Geometrische InterpretationFehler bildet (hochdimensionale) FlcheGradient entspricht der Richtung des steilsten AbstiegsFolge dieser Richtung bis zum Minimum

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Grenzen der BackpropagationGradientenverfahren kann in lokalem Minimum hngenbleiben (abhngig von der Initialisierung) Es ist nicht garantiert, da Backpropagation eine existierende Lsung auch findetWeitere Probleme: langsam, kann zu oszillieren beginnen (siehe spter)

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Praxis der BackpropagationBeginne mit zuflligen GewichtenWhle kleine Lernrate (da sonst kein Gradientenverfahren)Nehme Satz von Trainingsmustern, die gelernt werden sollenWhle jeweils zufllig ein Musterpaar: 1 Vorwrtsschritt, 1 Backpropagation-Schritt (online learning)Eigentlich: definiere Fehler als

    (ber alle M Musterpaare)berechne Gewichtsnderungen fr alle Musterpaare des Trainingssatzes, summiere und ndere erst dann (batch learning)

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Beispiel: Medizinische DiagnoseBsp: Pima Indian Diabetes ftp://ftp.ics.uci.edu/pub/machine-learning-databases/pima-indians-diabetesInput:1. Number of times pregnant2. Plasma glucose concentration at 2 hours in an oral glucose tolerance test3. Diastolic blood pressure (mm Hg)4. Triceps skin fold thickness (mm)5. 2-Hour serum insulin (mu U/ml)6. Body mass index (weight in kg/(height in m)^2)7. Diabetes pedigree function8. Age (years)

    Normalisiert auf Mittelwert 0 und Varianz 1

    Output:Diabetes ja/nein

    768 Flle, aufgeteilt auf Training- und Testsatz

    Performanz nach Training auf Testsatz: ca. 70-80%Fehler geht nicht auf 0! (siehe spter)Vienet2>uebung3.exe

    Maschinelles Lernen und Neural Computation

  • Maschinelles Lernen und Neural Computation*Einige wichtige PrinzipienOccams RazorWenn zwei Modelle die Daten gleich gut beschreiben, dann whle das einfachere komplexer (mchtiger) ist nicht automatisch besserFluch der DimensionFr komplexe Lerner steigt der Bedarf an Beispielen berlinear (exponentiell) mit der Zahl der Features nimm nur Features, die notwendig sindNo free lunchEs gibt keinen Lerner, der fr alle Probleme die beste Lsung liefert wende komplexen Lerner nie blind ohne Wissen ber die Daten an

    Maschinelles Lernen und

Search related