Growing neural Gas Strukturen lernen

Torsten Siedel

23.05.2012

Inhalt

Folie 2 / 34

1. Prozess der Selbstorganisation

2. Lernen - momentan oder statistisch?

3. Vektorbasierte Neuronale Netze

4. Klassifizierung der Lernverfahren

5. Online Lernen

6. Neuronales Gas

7. Wachsendes Neuronales Gas

8. JAVA-Tool (Demonstration)

9. Beispiel aus der Natur

Prozess der Selbstorganisation

Folie 3 / 34

• Systemparameter sind von außen vorgegeben

• Genauer Endzustand des Systems vorher nicht bekannt

• Zustand entwickelt sich durch Selbstorganisation

• Einfluss von Einheiten meist nur durch „Nachbarn“

• Keine Zentrale Planung

Beispiel: Ökonomisches Gefüge eines Staates

Prozess der Selbstorganisation

Folie 4 / 34

Dynamische Selbstorganisation eines Vogelschwarms

Lernen - momentan oder statistisch?

Folie 5 / 34

Momentanes Lernen Statistisches Lernen

• Gesichtserkennung

• Gefahren

• Komplexe Bewegungsabläufe

• Kombinatorische Aufgaben

Lernen - momentan oder statistisch?

Folie 6 / 34

Momentanes Lernen Statistisches Lernen

• Gesichtserkennung

• Gefahren

• Komplexe Bewegungsabläufe

• Kombinatorische Aufgaben

Vektorbasierte Neuronale Netze

Folie 7 / 34

Struktur

Der Netzzustand ist wesentlich durch eine Anzahl von n-dimensionalen

Vektoren beschreiben, wobei n die Dimension des Eingaberaums ist. Diese

Vektoren werden als Referenzvektoren bezeichnet.

Ein Netz besteht aus einer Menge von Neuronen.

Ein Neuron entspricht einer „Einheit“

Jeder Einheit c ist der Referenzvektor zugeordnet.

Vektorbasierte Neuronale Netze

Folie 8 / 34

Trainingsdaten

Kontinuierliche Wahrscheinlichkeitsverteilung

Endliche Menge

Vektorbasierte Neuronale Netze

Folie 9 / 34

Gewinner

Der Gewinner ist die Einheit, die den nächstgelegenen Referenzvektor hat:

Gewinner Einheit

Signal

Vektorbasierte Neuronale Netze

Folie 10 / 34

Voronoi-Tessellation (b) und Delaunay-Triangulation (c)

Einheit

Vektorbasierte Neuronale Netze

Folie 11 / 34

Voronoi-Tessellation

Einheit

Voronoi-Tessellation

Vektorbasierte Neuronale Netze

Folie 12 / 34

Delaunay-Triangulation

Einheit

Delaunay-Triangulation

Klassifizierung der Lernverfahren

Folie 13 / 34

• LBG (Linde, Buzo, Gray)

• LBG-U (Fritzke)

• Hard Competitive Learning (standard)

• Competitive Hebbian Learning (Martinetz)

• Neural Gas (Martinetz)

• Growing Neural Gas / GNG-U (Fritzke)

• Neural Gas with Competitive Hebbian Learning

(Martinetz)

• Growing Grid (Fritzke)

• Self-Organizing Map (Kohonen)

Hartes Wettbewerbslernen für

endliche Datenmengen

Hartes Wettbewerbslernen für

große und unendliche

Datenmengen

Weiches Wettbewerbslernen

ohne feste

Netzwerkdimension

Weiches Wettbewerbslernen

mit feste Netzwerkdimension

Klassifizierung der Lernverfahren

Folie 14 / 34

• LBG (Linde, Buzo, Gray)

• LBG-U (Fritzke)

• Hard Competitive Learning (standard)

• Competitive Hebbian Learning (Martinetz)

• Neural Gas (Martinetz)

• Growing Neural Gas (Fritzke)

• Neural Gas with Competitive Hebbian Learning

(Martinetz)

• Growing Grid (Fritzke)

• Self-Organizing Map (Kohonen)

Hartes Wettbewerbslernen für

endliche Datenmengen

Hartes Wettbewerbslernen für

große und unendliche

Datenmengen

Weiches Wettbewerbslernen

ohne feste

Netzwerkdimension

Weiches Wettbewerbslernen

mit feste Netzwerkdimension

Online Lernen

Folie 15 / 34

Lernen mittels Voronoi-Tessellation

Online Lernen

Folie 16 / 34

K-means-Lernen

Lernrate

gleich

Online Lernen

Folie 17 / 34

Exponentiell abnehmend

Neuronales Gas

Folie 18 / 34

Lernrate

Lernrate

Nachbarschaftsreichweite

Adaptionsstärke

Neuronales Gas

Folie 19 / 34

Neuronales Gas

Folie 20 / 34

Hebb’sches Wettbewerbslernen -> Erzeugen einer Netztopologie

Kante Signal Delaunaytrianglulation

Neuronales Gas

Folie 21 / 34

Neuronales Gas

Folie 22 / 34

Hebb’schen

Wettbewerbslernen

Adaption der

Referenzvektoren

(Neuronales Gas)

Wachsendes Neuronales Gas

Folie 23 / 34

Problem

Üblicherweise a priori - Festlegen

der Netzwerkgröße.

-> Viele Testdurchläufe notwendig

um gewünschtes Netzwerk zu

erzeugen

Wachstum

Start mit einem kleinem Netzwerk

(z.B. nur zwei Einheiten)

Ende bei z.B. Erreichen eines

mittleren Quantisierungsfehlers

Wachsendes Neuronales Gas

Folie 24 / 34

Problem

Üblicherweise a priori - Festlegen

der Netzwerkgröße.

-> Viele Testdurchläufe notwendig

um gewünschtes Netzwerk zu

erzeugen

Wachstum

Start mit einem kleinem Netzwerk

(z.B. nur zwei Einheiten)

Ende bei z.B. Erreichen eines

mittleren Quantisierungsfehlers

Fehlergröße soll reduziert werden.

Absenke des Fehlers durch Einfühgen

einer neuen Einheit.

Stärkste Absenkung des Fehlers, durch

Einfühgen bei Einheit mit dem größen

Fehler.

Wachsendes Neuronales Gas

Folie 25 / 34

Hebb’schen

Wettbewerbslernen

Adaption der

Referenzvektoren

(Neuronales Gas)

Wachstum

Demonstration

Folie 26 / 34

JAVA-Tool

Beispiel aus der Natur

Folie 27 / 34

Spongiosa

Belastung

Erhöhte Dichte

Beispiel aus der Natur

Folie 28 / 34

Beispiel aus der Natur

Folie 29 / 34

Beispiel aus der Natur

Folie 30 / 34

Beispiel aus der Natur

Folie 31 / 34

Beispiel aus der Natur

Folie 32 / 34

Quellen

Folie 33 / 34

Fritzke, B.:

Vektorbasierte Neuronale Netze. Erlangen, Friedrich-Alexander-Universität

Erlangen-Nürnberg, Habilitation, 1998.

Fritzke, B.:

Wachsende Zellstrukturen - ein selbstorganisierendes neuronales Netzwerkmodell.

Erlangen, Friedrich-Alexander-Universität Erlangen-Nürnberg, Dissertation, 1992.

Java-Programm DemoGNG zur Simulation von Neuronalen Netzen:

http://sund.de/netze/applets/gng/full/GNG-U_0.html

Danke für Euer

Zuhören

… nun zur Diskussion