Upload
meinhard-murbach
View
108
Download
1
Embed Size (px)
Citation preview
Ein Neuronales Netz könnte lernen indem es …
Neuronale Netze
… neue Verbindungen entwickelt
… vorhandene Verbindungen löscht
… Verbindungsgewichte verändert
… Schwellenwerte von Neuronen ändert
… eine oder mehrere der Neuronenfunktionen abwandelt
… neue Neuronen entwickelt
… vorhandene Neuronen löscht
Lernverfahren / LernregelnLernverfahren / Lernregeln
Neuronale Netze
Lernverfahren / LernregelnLernverfahren / Lernregeln
1. Trainingsphase: Lernen anhand des Lernmaterials
supervised learning: Optimierung der Gewichte anhand eines vorgegebenen Outputs
unsupervised learning: Gewichtsveränderung in Abhängigkeit der Ähnlichkeit der Gewichte mit den Inputreizen
2. Testphase: Präsentation von Reizen und Überprüfung des berechneten Outputs
Trainings- und Testphase
Lernregeln
Hebb-Regel
Delta-Regel
Backpropagation
Competetive Learning
Neuronale Netze
Hebb-Regel
Neuronale Netze
"Wenn ein Axon der Zelle A ... Zelle B erregt und wiederholt und dauerhaft zur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert dies in Wachstumsprozessen oder metabolischen Veränderungen in einer oder in beiden Zellen, die bewirken, dass die Effizienz von Zelle A in bezug auf die Erzeugung eines Aktionspotentials in B größer wird." (Hebb, 1949)
Das Gewicht zwischen zwei Einheiten wird dann verändert, wenn beide Units gleichzeitig aktiv sind.
Die Größe der Gewichtsveränderung bemisst sich aufgrund dreier Werte:
dem Aktivitätslevel (bzw. Output) der sendenden Unit aj
dem Aktivitätslevel (bzw. Output) der empfangenden Unit ai
einem vorher festgelegten, positiven Lernparameter ε
Formel: Δwij=ε·ai·aj
Neuronale Netze
LernregelnLernregeln
Delta-Regel
δ = ai(gewünscht) - ai(beobachtet)
Grundlage: Vergleich zwischen gewünschtem und dem tatsächlich beobachteten Output einer Output-Unit i
Als Formel:
Neuronale Netze
LernregelnLernregeln
Δwij = ε · δi · aj
Gewichtsver-änderung
zwischen den Einheiten i und j
Konstanter Term:
gibt die Stärke der Gewichts-veränderung pro Lerndurchgang an
δ = ai(gewünscht) - ai(beobachtet)
• Größe der Gewichtsveränderung
proportional zur Größe des Fehlers
• 3 Möglichkeiten:
• beobachtete Aktivität zu niedrig
• beobachtete Aktivität zu groß
• beobachtete und gewünschte
Aktivität gleich groß
diejenigen Gewichte zu den sendenden Units
werden stärker verändert, die einen größeren
Einfluss auf den Fehlerterm ausüben
Neuronale Netze
LernregelnLernregeln
Backpropagation
supervised learning
Hidden-Units
Training durchläuft alternierend 3 Phasen:
1. Forward-Pass
2. Fehlerbestimmung
3. Backward-Pass
Neuronale Netze
LernregelnLernregeln
Backpropagation
Gewichtsanpassung:
Ziel: Anpassung der Gewichte im Backward-Pass, so dass der resultierende Gesamtfehler möglichst klein ausfällt
Gradientenabstiegsverfahren
Neuronale Netze
LernregelnLernregeln
i
i falls i=Output-Unitfalls i=Hidden-Unit= ),()(´ ,lil
LiAkt wnetzinputf
Δwij = ε · δi · aj
= Ableitung der Aktivitätsfunktion an der Stelle des Netzinputs der empfangenden Einheit iL = Nachfolgeschicht nach der empfangenden Schicht (i)l = Nachfolgende Einheit, die sich nach der empfangenden Einheit i befindet
)(´ iAkt netzinputf
,´ beobachtetagewünschtanetzinputf iiiAkt
Probleme des Gradientenabstiegsverfahrens:
Lokale Minima
Flache Plateaus
Oszillation (direkt oder indirekt)
Verlassen guter Minima
Neuronale Netze
Backpropagation
LernregelnLernregeln
Competitive Learning
1. Erregung
2. Wettbewerb
3. Adjustierung der Gewichte
Neuronale Netze
LernregelnLernregeln
unsupervised learning
3 Phasen:
)( ijjj
i wanetzinput
ijjij waw
Beurteilung der Regeln
Neuronale Netze
LernregelnLernregeln
Qualität
Komplexität
Verständlichkeit
Anwendbarkeit
Neuronale Netze
Netztypen
Pattern Associator
Rekurrente Netze
Kompetitive Netze
Kohonennetze
Pattern Associator
Eigenschaften:Eigenschaften:
Generalisierung
Toleranz gegenüber internen Schäden
Toleranz gegenüber externen Schäden
Output der zentralen Tendenz bzw. des
Prototypen der Kategorie
NetztypenNetztypen
Neuronale Netze
Rekurrente Netze
Unterteilung:Unterteilung:
Direkte Rückkopplungen
Indirekte Rückkopplungen
Seitliche Rückkopplungen
Vollständige Rückkopplungen
Neuronale Netze
NetztypenNetztypen
Rekurrente Netze
Simple
Recurrent
Networks
Simple
Recurrent
Networks
Kontext-Units
Hidden-Units
Neuronale Netze
NetztypenNetztypen
Rekurrente Netze
Anwendungen:Anwendungen:
Prognosen über die Zukunft treffen
Simulation von menschlichen Verhaltenssequenzen
Attraktornetze
Neuronale Netze
NetztypenNetztypen
Kompetitive Netze
Keine Hidden-Units
Trainingsphase in 3 Schritten
1. Erregung
2. Wettbewerb
3. Adjustierung der Gewichte
unsupervised Learning
Begrenzung der Gewichtssektoren
Neuronale Netze
NetztypenNetztypen
Kompetitive Netze
Anwendungen:Anwendungen:
Filtern von Redundanzen und Alternative zur Faktorenanalyse
vorgeschaltetes Netz für andere Netztypen
Musterklassifikation
Neuronale Netze
NetztypenNetztypen
Kohonennetze
Erweiterung Kompetitiver Netze
unsupervised Learning
Keine Hidden-Units
Häufig Output-Schicht 2-dimensional aufgebaut
Neuronale Netze
NetztypenNetztypen
Kohonennetze
Berechnung:Berechnung:
1. Startwerte festlegen
2. Auswahl eines Inputvektors
3. Aktivitätsberechnung und Auswahl
4. Gewichtsmodifikation
5. Abbruch
Neuronale Netze
NetztypenNetztypen
Kohonennetze
Anwendungen:Anwendungen:
Approximation von Funktionen
Inverse Kinematik
kürzesten Weg zwischen 2 Punkten finden
n-dimensionale Figuren transformieren
Problem des Handlungsreisenden
Spracherkennung, Unterschriftenerkennung, Gesichtererkennung
Neuronale Netze
NetztypenNetztypen
Literatur
Detlef Nauck, Frank Klawonn und Rudolf Kruse (1994), Neuronale Netze und Fuzzy-Systeme, F. Vieweg & Sohn Verlagsgesellschaft Braunschweig/Wiesbaden;
Klaus Mainzer (1997), Gehirn, Computer, Komplexität, Springer-Verlag Berlin/Heidelberg;
http://cs.uni-muenster.de/Professoren/Lippe/lehre/skripte/wwwnnscript/startseite.html;
http://filestorage.dkriesel.com/neuronalenetze-de-delta-dkrieselcom.pdf;
http://www.andreas-mielke.de/nn.html;
http://www.i4.psychologie.uni-wuerzburg.de/fileadmin/06020400/user_upload/Rey/3_Lernregeln.pdf;
http://www.neuronalesnetz.de;
Neuronale Netze
NetztypenNetztypen