Aufbau und Beschreibung Neuronaler Netzwerke · 2007-06-19 · Ruhepotential ausgehend depolarisiert wird. Jede Zelle hat hier ihren eigenen Schwellenwert, der auch eine Funktion

10.06.07Philipp Gorski1

Neuronale NetzwerkeNN

Aufbau und BeschreibungNeuronaler Netzwerke



Inhalt

• Biologisches Vorbild

• Mathematisches Modell

• Grundmodelle

10.06.07Philipp Gorski

Neuronale Netzwerke



Biologisches Vorbild – Das Neuron

Grundkomponenten:

• Zellkörper (Soma)

• Zellkern (Nukleus)

• Dendriten

• Nervenfaser (Axon)

• Synapsen


Neuronale Netzwerke



Biologisches Vorbild – Das Neuron Informationen können im Nervensystem durch zwei Arten von elektrochemischen Signalen weiter geleitet werden: durch lokale Potentiale und Aktionspotentiale (Lokale Potentiale sind passive Signale, die durch externe Stimulation der Membran, der Dendriten oder des Zellkörpers hervorgerufen wird, z.B. Sinnesrezeptoren auf der Netzhaut des Auges). Aktionspotentiale entstehen, wenn die Membran vom Ruhepotential ausgehend depolarisiert wird. Jede Zelle hat hier ihren eigenen Schwellenwert, der auch eine Funktion der Zeit sein kann. Wird dieser Zellenschwellwert überschritten, so kippt das Ruhepotential unweigerlich in ein positives Potential um, dessen Maximum bei ca. +30 mV liegt.


Neuronale Netzwerke

Je intensiver ein Stimulus ist, um so größer ist erstens die Anzahl der Neuronen, in denen Impulse auftreten, und mit zunehmender Intensität steigt die Zahl der Nervenimpulse, die er auslöst.





Neuronale Netzwerke

Wenn die Reizintensität unter dem Schwellwert des Neurons bleibt, hat dies lediglich zur Folge, dass das Ruhepotential ansteigt. Steigt sie über den Schwellwert wird das Neuron eine Folge von Spikes feuern. (Als Spike wird das Aktionspotential bezeichnet, da es an eine Spitze erinnert). Wenn ein Aktionspotential seine Reise entlang des Axons hinter sich gebracht hat und die Endknöpfchen erreicht hat, muss die Information an das nächste Neuron weiter gegeben werden. Aber zwei Neuronen berühren sich niemals; zwischen ihnen besteht immer ein kleiner Spalt. Diese Anschlussstelle wird als Synapse bezeichnet.





Neuronale Netzwerke

Um den Spalt zu überbrücken und neurale Botschaften zum nächsten Neuron zu bringen, wird der elektrische Impuls in einen chemischen Prozess transformiert. Chemische Trägerstoffe transportieren ihn von einer Seite der Synapse, der präsynaptischen Membran des Endknöpfchens, über den Spalt an die postsynaptische Membran der Dendriten oder des Zellkörpers des nächsten Neurons. Dort kann er ein lokales Potential auslösen, das abermals entlang des Axons zur nächsten Synapse wandert, usw. Einige Synapsen sind exzitatorisch (erregend): Der Neurotransmitter veranlasst das postsynaptische Neuron, Impulse in einer höheren Rate zu generieren. Andere sind inhibitorisch (hemmend): Die Transmittersubstanz reduziert die Impulsrate oder verhindert neue Impulse in der postsynaptischen Zelle.



Mathematisches Modell Eingabe anderer Neuronen

Propagierungsfunktion:Sie verarbeitet die Eingaben zur Netzeingabe (oft gewichtete Summe)

Aktivierungsfunktion:Sie erzeugt aus der Netzeingabe und der alten Aktivierung die neue Aktivierung.

Ausgabefunktion:Sie erzeugt aus der Aktivierung die Ausgabe (oft Identität)

Ausgabe zu anderen Neuronen

net i= f propg {o j1 , , o jn ,w ij1 , ,w ijn}

net i=∑j=1

n

o j⋅w ij

f propg :{o j 1 , , o j n}×{w ij1 , ,w ijn}net i

a i t = f act net i t , a i t−1 , θ i

f act :net i t ×a i t−1×θ ia j t

f out : a i o i

f outa i = a i , also a i = o i


Neuronale Netzwerke



Mathematisches Modell Definition Neuron:

Ein künstliches Neuron ist ein Tupel (x, w, f_act, f_out, o) bestehend aus einem Eingabevektor x = (x1, ..., xn), einem Gewichtsvektor w = (w1, ..., wn), einer Aktivierungsfunktion f_act mit f_act: IRn x IRn ---> IR und einer Ausgabefunktion f_out, für die f_out: IR --> IR gilt.

Dabei wird durch f_out ( f_act( x, w)) = o der Ausgabewert des Neurons erzeugt, der an die nachfolgenden Neuronen über die Axonkollaterale weitergeleitet wird.

Definition Neuronales Netz:

Ein Neuronales Netz ist ein Paar (N, V) mit einer Menge N von Neuronen und einer Menge V von Verbindungen. Es besitzt die Struktur eines gerichteten Graphen, für den die folgenden Einschränkungen und Zusätze gelten:

• Die Knoten des Graphen heißen Neuronen.

• Die Kanten heißen Verbindungen.

• Jedes Neuron kann eine beliebige Menge von Verbindungen empfangen, über die es seine Eingabe erhält.

• Jedes Neuron kann genau eine Ausgabe über eine beliebige Menge von Verbindungen aussenden.

• Das Neuronale Netz erhält aus Verbindungen, die der "Außenwelt" entspringen, Eingaben und gibt seine Ausgaben über in der "Außenwelt" endende Verbindungen ab.


Neuronale Netzwerke



Mathematisches Modell Grundaufbau Neuronales Netzwerk :

Schichten:

3 verschiedene Schichttypen

Eingabeschicht (Input Layer)• Neuronen dieser Schicht nehmen Informationen als Rezeptoren aus der Umgebung auf, geben diese über die Aktivation an das Netz weiter und haben keine Gewichtung (Eingabeunits).

Vermittlungsschicht (Hidden Layer)• Alle Schichten zwischen Ein- und Ausgabeschicht, auf deren Aktivation nicht unmittelbar zugegriffen werden kann.

Ausgabeschicht (Output Layer)• Diese Schicht macht die Ergebnisse als Aktoren des Netzes nach aussen hin sichtbar.

Gewichtung wds (d = destination s = source)

wds = 0 : keine Neuronenverbindungwds < 0 : hemmende Neuronenverbindungwds > 0 : anregende Neuronenverbindung

⋮⋮ ⋮

⋮

⋯

⋯

⋯

⋯x 1

x 2

x 3

x n

o m

o 1

InputLayer

k HiddenLayer

OutputLayer

Gewichtete Verbindungen wds


Neuronale Netzwerke



Mathematisches Modell Aktivierungsfunktion :

Aktivierungs- und Ausgabefunktion können auch als Transferfunktion zusammengefasst werden.

Der Schwellwert θ eines Neurons ist diesem genau zugeordnet und markiert die Stelle der größten Steigung der Aktivierungsfunktion.

Die Aktivierungsfunktion eines Neurons verarbeitet den alten Aktivierungszustand ( also a( t – 1) ), den aktuellen Aktivierungszustand ( a(t) ) und die Netzeingabe ( net(t) ).Die Aktivierung eines Neurons zu einem bestimmten Zeitpunkt hängt also davon ab, wie aktiviert es bereits war und welche Netzeingaben es von außen erhalten hat.


Neuronale Netzwerke



Mathematisches Modell Das Bias Neuron :

Um die Arbeit mit einem neuronalen Netzwerk signifikant zu vereinfachen und den Schwellwert θ nicht immer explizit einzugeben und anpassen zu müssen, wird ein Bias Neuron hinzugefügt.

Das Bias-Neuron ist ein zusätzliches Neuron in der Inputschicht, sowie in den Hiddenschichten. Es gibt keine Verbindung zu einem Bias-Neuron. Die Ausgabe jedes Bias-Neurons ist konstant 1. Da die Ausgangsgewichte der Bias-Neuronen ebenfalls durch die Lernregel modifiziert werden, entspricht das Bias einem variablen Schwellenwert.

Anstatt der Schwellwertgleichung:

Nun gilt die vereinfachte Form mit variablen Schwellenwert:

net i = ∑j=1

n

o j⋅w ij − θ i 0 bzw. ∑j=1

n

o j⋅wij θ i

net i = ∑j=1

n1

o j⋅w ij 0 bzw. ∑j=1

n1

o j⋅w ij 0

1

θ1

θ2


Neuronale Netzwerke



Grundmodelle Topologieübersicht :

Neuronale Netze

Feed Forward Rückgekoppelt Vollständig Verbunden

ShortCut Connections Direkt Indirekt Lateral


Neuronale Netzwerke



Grundmodelle Feed Forward Netze :

i 1 i 2

h 2h 1 h 3

o 1 o 2

Allgemein:

Ein Feed Forward Netz besitzt klar abgetrennte Schichten von Neuronen: Eine Eingabeschicht, eine Ausgabeschicht und beliebig viele, von aussen nicht sichtbare Vermittlungsschichten. Verbindungen sind nur zu Neuronen der jeweils nächsten Schicht erlaubt. Feed Forward Netze in denen ein Neuron zu jeweils jedem Neuron der nächsten Schicht verbundene ist, nennt man auch vollverknüpft.

Feed Forward Netz mit ShortCut Connections:

Es gibt auch Feed Forward Netze, die Verbindungen zulassen, welche mehrere Ebenen überspringen. Aber auch hier gilt, dass diese Verbindungen dürfen ausschliesslich in Richtung der Ausgabeschicht zeigen.


Neuronale Netzwerke



Grundmodelle Rückgekoppelte Netze :

i 1 i 2

h 2h 1 h 3

o 1 o 2

Allgemein:

Man spricht von einem rückgekoppelten Netz, wenn ein Neuron mit seinen Ausgaben in der Lage ist, sich auf direktem oder indirektem Wege selbst zu beeinflussen.

i 1 i 2

h 2h 1 h 3

o 1 o 2

Direkte Rückkopplung:

Erweiterung einer gewichteten Verbindung vom Neuron zu sich selbst.Somit kann sich das Neuron selbst direkt hemmen oder bestärken.

Indirekte Rückkopplung:

Es sind gewichtete Verbindung entgegen der Richtung zur Ausgabeschicht erlaubt und ein Neuron kann sich so auf indirektem Wegen selbst beeinflussen, indem es das nachfolgende Neuron hemmt oder bestärkt und dieses zurückwirkt.


Neuronale Netzwerke



Grundmodelle Rückgekoppelte Netze :

i 1 i 2

h 2h 1 h 3

o 1 o 2

Laterale Kopplung:

Gewichtete Verbindungen von Neuronen innerhalb einer Ebene nennt man laterale Rückkopplung.Oft hemmt dann jedes Neuronen die anderen der Schicht und verstärkt sich selbst.Es wird dann nur das stärkste Neuron aktiv. (Winner takes ist all Prinzip)


Neuronale Netzwerke



Grundmodelle Vollständig verbundene Netze :

i 1 i 2

h 2h 1 h 3

o 1 o 2

Vollständiger Verbund:

Prinzipiell darf jedes Neuron mit jedem anderen Neuron des Netzwerkes verbunden werden.Diese Verbindungen müssen symmetrisch sein.Berühmtester Vertreter sind selbstorganisierende Karten.


Neuronale Netzwerke



!!! Danke schön !!!


Neuronale Netzwerke

Documents

Aufbau und Beschreibung Neuronaler Netzwerke · 2007-06-19 · Ruhepotential ausgehend depolarisiert wird. Jede Zelle hat hier ihren eigenen Schwellenwert, der auch eine Funktion