1SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
4. Konzepte des Konnektionismus – Theorie Künstlich Neuronaler Netze
Jörg Krone, Ulrich Lehmann, Hans Brenig, Oliver Drölle, Michael Schneider
SS 2006
2
41
24. Konzepte des Konnektionismus (KNN) R4
Inhalt
a. Zellen des KNN als stark idealisierte Neuronen
b. Komponenten eines KNN
c. Zelltypen nach Position im Neuronalen Netz
d. Beispiel: NN für XOR-Netzwerk mit zwei Eingängen
e. Ausgabe- und Aktivierungsfunktionen
f. Topologie Künstlich Neuronaler Netze
g. Bedeutung des Schwellwertes
h. Lernregel
3SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Zellen des KNN als stark idealisierte Neuronen (Text)
• Begriffe und Definitionen:
– Konnektionismus:Konnektionismus: Synonym für das Wissensgebiet der künstlich neuronalen Netze = neuronale Modelle
– Def. Konnektionismus:Konnektionismus: Informationsverarbeitung als Interaktion einer großen Zahl einfacher Einheiten (Zellen, Neuronen), die anregende (positive Gewichte) oder hemmende (negative Gewichte) Signale an andere Zellen senden.
– neuronale Zelle = Neuron (Element, Unit)
4SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Zellen als stark idealisierte Neuronen
Informationsverarbeitung als Interaktion einer großen Zahl einfacher Einheiten (Zellen, Neuronen), die
– anregende (positive Gewichte) Signale oder
– hemmende (negative Gewichte) Signale an andere Zellen senden.
5SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Komponenten eines Künstlich Neuronalen Netzes (Neuron, Aktivierung, Schwellwert)
• Neuron: Aktivierungszustand (activation) a j(t) gibt den Grad der
Aktivierung einer Zelle an.
• AktivierungsfunktionAktivierungsfunktion f f actact:: Sie gibt an, wie sich ein neuer
Aktivierungszustand a j(t + 1) des Neurons j aus der alten
Aktivierung a j(t) und der Netzeingabe (net input) net j(t) berechnet:
a j(t + 1) = f f act act (a j(t), net j(t), j)
• wobei j der Schwellwert des Neurons j ist.
j
6SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Komponenten eines Künstlich Neuronalen Netzes (Ausgabe, Gewichte)
• Ausgabefunktion fout: Die Ausgabe der Zelle j wird durch eine sogenannte Ausgabefunktion aus der Aktivierung der Zelle berechnet:
o j = f out (a j) meistens f out = Identität
• Verbindungsnetzwerk der Zellen: Ein neuronales Netz kann als gerichteter, gewichteter Graph angesehen werden, wobei die Kanten die gewichteten Verbindungen zwischen den Neuronen darstellen.
• Das Gewicht (weight) der Verbindung von Zelle i nach j wird hier durch wij bezeichnet!
7SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Komponenten eines Künstlich Neuronalen Netzes (Propagierung)
• Propagierungsfunktion: gibt an, wie sich die Netzeingabe eines Neurons
aus den Ausgaben der anderen Neuronen und den Verbindungsgewichten
berechnet. Die Netzeingabe von Zelle j berechnet sich:
net j(t) = i oi (t) wij
• aus der Summe der Ausgaben oi (t) der Vorgängerzellen multipliziert mit
dem jeweiligen Gewicht wij der Verbindungen von Zelle i nach Zelle j. Die
Gewichte wij können positiv (anregend) und negativ (hemmend) sein.
SS 2006
2
41
84. Konzepte des Konnektionismus (KNN) R4
Komponenten eines Künstlich Neuronalen Netzes (Lernregel)
• Lernregel: Die Lernregel ist ein Algorithmus, gemäß dem das KNN lernt, für eine vorgegebene Eingabe eine gewünschte Ausgabe oj zu produzieren.
• Lernen erfolgt meist durch Modifikation der Gewicht wij der Verbindungen als Ergebnis der wiederholten Präsentation von p Trainingsmusternp Trainingsmustern (Trainingsdaten). Es werden dazu Inputdaten inp und dazugehörige Targets (Outputdaten) tp angelegt.
• dabei wird versucht, den Fehler EpEp = ½ j (tptpjj – oj)2 zwischen erwarteter Ausgabe und tatsächlicher Ausgabe für alle TrainingsmusterTrainingsmuster zu minimieren.
in1in1 t1t1in2in2 t2t2in3in3 t3t3
inpinp tptpwij EpEp = ½ j (tptpjj – oj)2
9SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Zelltypen an verschiedenen Positionen im Neuronalen Netz
• Viele Netze in der Praxis haben Verbindungen nur in eine Richtung (die Abb. zeigt einen häufig verwendeteten Spezialfall: Feedforward-Netzwerk mit 3 Verbindungsschichten)
• Signale fließen in Pfeilrichtung von den Eingabeneuronen (input units) in Richtung der Ausgabeneuronen
• die Zellen werden nach ihrer Position im Netz, ihrem Layer (Ausgangsneuron, ...) benannt
• es handelt sich um ein dreistufiges Netz mit 4 Zellschichten, 3 Verbindungsschichten sind trainierbar (in der Regel die Eingabeschicht nicht)
• die Eingabeneuronen haben meistens die Identität als Aktivierungs- und Ausgangsfunktion. Sie leiten die Eingabesignale einfach nur an die Neuronen im Hidden Layer weiter.
10SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Beispiel: NN in Produktionsphase für XOR-Netzwerk mit zwei Eingängen,
Aufbau
• Gewichte: w13 = 1, w14 = 1, w23 = 1, w24 = 1, w34 = -2
• 3 Layer: Input layer [1,2], Hidden layer [3], Output layer [4]
• Aktivierungsfunktion: binäre Schwellenwertfunktion
11SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Beispiel: NN für XOR-Netzwerk mit zwei Eingängen, Netzeingaben
12SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Ausgabe- und Aktivierungsfunktionen a
13SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Ausgabe- und Aktivierungsfunktionen a,b
14SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Ausgabe- und Aktivierungsfunktionen a-c
15SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Ausgabe- und Aktivierungsfunktionen a-d
16SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Ausgabe- und Aktivierungsfunktionen alle
17SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Beispiel Demo MATLAB 7.1Toolboxes/Neurons/…
Simple neuron and transfer functions exe, select F:, move w
18SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Topologie Künstlich Neuronaler Netze a
13
2
1 2
3 4
4
w23w13
Verbindungsmatrix
nach Neuron
von
Neu
ron
19SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Topologie Künstlich Neuronaler Netze a, b
20SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Topologie Künstlich Neuronaler Netze a-d
21SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Topologie Künstlich Neuronaler Netze a-f
22SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Schwellwert entspricht einem „on“-Neuron
23SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Schwellwert bewirkt eine Linearverschiebung der Aktivierungsfunktion
net j(t) = (i o i (t) wij) - j
a j(t) = f act (net j(t))
j1j2
24SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Beispiel Demo MATLAB 7.1Toolboxes/Neurons/…
Simple neuron and transfer functions exe, change b for different F:
25SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Beispiel Demo MATLAB 7.1Toolboxes/Neurons/…
• Neuron with vector input exe
26SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Lernstrategie in NN
1. Überwachtes Lernen (supervised learning)
2. Bestärkendes Lernen (reinforcement learning)
3. Unüberwachtes Lernen (unsupervised learning)
27SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Lernstrategien für unterschiedliche Netze
28SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Lernregel für KNN
Theoretisch mögliche Arten des Lernens
1. Entwicklung neuer Verbindungen
2. Löschen existierender Verbindungen
3. Modifikation der Gewichte wij von Verbindungen
4. Modifikation des Schwellwertes von Neuronen
5. Modifikation der Aktivierungs-, Propagierungs- oder Ausgabefunktion
6. Entwicklung neuer Zellen
7. Löschen von Zellen
29SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Beispiel Demo MATLAB 7.1Toolboxes/Neurons/…
• Einfluss auf die Übertragungsfunktion durch die Veränderung der Gewichte und Bias exe Contens Kapitel 11 Network Function
30SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Hebbsche Lernregel
1949 von Donald O. Hebb formuliert:
• Wenn eine Zelle j eine Eingabe von einer Zelle i erhält und beide gleichzeitig stark aktiviert sind, dann erhöhe das Gewicht wij (die Stärke der Verbindung von i nach j)
• mathematisch: wij = oi aj
– mit wij als Änderung des Gewichtes wij
– eine Konstante, auch Lernrate genannt
– oi die Ausgabe der Vorgängerzelle i
– aj die Aktivierung der nachfolgenden Zelle j
31SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Delta-Lernregel
Bei der Delta-Regel, auch Widrow-Hoff-Regel gennant:
• ist die Gewichtsänderung wij proportional zur Differenz j der aktuellen Aktivierung aj und der erwarteten Aktivierung tj (teaching input)
• mathematisch: wij = oi (tj – aj) = oi j
• häufig auch: wij = oi (tj – oj) = oi j
wobei jetzt als teaching input tj die erwartete Ausgabe statt der erwarteten Aktivierung angelegt wird
– mit wij als Änderung des Gewichtes wij
– eine Konstante, auch Lernrate genannt
– oi die Ausgabe der Vorgängerzelle i
– aj die Aktivierung der nachfolgenden Zelle j
32SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Beispiel: Überwachtes Lernen1. Präsentation des Eingabemusters
33SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Beispiel: Überwachtes Lernen2. Vorwärtspropagierung der angelegten
Eingabe
34SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Beispiel: Überwachtes Lernen3. Vergleich der berechneten Ausgabe mit
der erwünschten
35SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Beispiel: Überwachtes Lernen4. Rückwärtspropagierung der Fehler von der Ausgabeschicht zur Eingabeschicht
36SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Beispiel: Überwachtes Lernen5. Änderung der Gewichte aller Neuronen des Netzes
um die vorher berechnenten Werte
37SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Beispiel Demo MATLAB 7.1Toolboxes/Neurons/…
Überwachtes Lernen nach Hebb‘scher Regel exe Contens Kapitel 7 Supervised Hebb
38SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Überwachung der Lernkurve
1. Abbruch, wenn der Fehler E eine vorgegebene Grenze unterschreitet
2. Für gute Generalisierungsleistung des KNN sollte ein Abbruch erfolgen, bevor der Validierungsfehler (rot) wieder ansteigt
E = f (Epochen) für 225 Epochen
E
Epochen
39SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Zusammenfassung:Überwachtes Lernen
Ein typisches überwachtes Lernverfahren, wie Backpropagation, führt für alle Paare von Eingabemustern und erwünschter Ausgabe (Trainingsdaten) folgende Schritte durch:
• Präsentation des Eingabemusters an den Eingabeneuronen
• Vorwärtspropagierung der angelegten Eingabe durch das Netz bis Ausgabe
• Vergleich der Ausgabe mit der erwünschten Ausgabe (teaching input) -> Differenzvektor
• Rückwärtspropagierung der Fehler von der Ausgabeschicht zur Eingabe berechnet Änderungen der Gewichte zur Verringerung des Differenzvektors
• Änderung der GewichteÄnderung der Gewichte aller Neuronen des Netzes mit den berechneten Änderungen
40SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Fragen
Fragen Sie bitte!
41SS 2006 4. Konzepte des Konnektionismus (KNN) R4
2
41
Danke
C om putationa l In te lligence and C ontro l Laboratory
CIC Lab
Vielen Dank für Ihr Interesse!