Memory is a mud trap Über den Verlauf des Vergessens Christian Kaernbach Universität Leipzig

Memory is a mud trapMemory is a mud trap

Über den Verlauf des VergessensÜber den Verlauf des Vergessens

Christian KaernbachUniversität Leipzig

Wie zerfallen Gedächtnisinhalte?Wie zerfallen Gedächtnisinhalte?

• Zerfall oder Interferenz?

– Untrennbar miteinander verbunden:Es gibt keine Retentionsdauer, in der keine Interferenz stattfände, und sei es durch interne Zustände.

– Ob man Zerfall oder Interferenz mißt, hängt von der eingesetzten Methode ab.

– Im folgenden wird nur betrachtetder Zerfall als Funktion der Zeit.

• Zerfall oder Interferenz?

– Untrennbar miteinander verbunden:Es gibt keine Retentionsdauer, in der keine Interferenz stattfände, und sei es durch interne Zustände.

– Ob man Zerfall oder Interferenz mißt, hängt von der eingesetzten Methode ab.

– Im folgenden wird nur betrachtetder Zerfall als Funktion der Zeit.

Wie zerfällt Uran?Wie zerfällt Uran?

• Radioaktiver Zerfall ...Ausschwingen einer GitarrensaiteBremsvorgänge in Flüssigkeit oder Gas

allgemein: Relaxation in linearen Systemen ... verläuft exponentiell

• generiert durch „negative Verzinsung“– Pro Zeiteinheit zerfällt

ein gleicher Prozentsatz.

• Radioaktiver Zerfall ...Ausschwingen einer GitarrensaiteBremsvorgänge in Flüssigkeit oder Gas

allgemein: Relaxation in linearen Systemen ... verläuft exponentiell

• generiert durch „negative Verzinsung“– Pro Zeiteinheit zerfällt

ein gleicher Prozentsatz.)()( txtx

dt

d )()( txtx

dt

d

textx 0)( textx 0)(

EbbinghausEbbinghaus

0

10

20

30

40

50

60

0 5 10 15 20 25 30

Retentionsintervall [Tage]

Ers

parn

is [

%]

Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.

Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.

0

10

20

30

40

50

60

0 5 10 15 20 25 30

Retentionsintervall [Tage]

Ers

parn

is [

%]

EbbinghausEbbinghaus

Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.

Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.

kt

ktx

c

)(log

100)(

10 kt

ktx

c

)(log

100)(

10

tadtx log)( tadtx log)(

Woodworth & Schlosberg (1954):

Woodworth & Schlosberg (1954):

Anderson (1983):Anderson (1983): txtx 0)( txtx 0)(

EbbinghausEbbinghaus

10

100

10 100 1000 10000 100000

log10 (Retentionsintervall [Minuten])

log1

0 (E

rspa

rnis

[%

])

Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.

Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.

kt

ktx

c

)(log

100)(

10 kt

ktx

c

)(log

100)(

10

tadtx log)( tadtx log)(

Woodworth & Schlosberg (1954):

Woodworth & Schlosberg (1954):

Anderson (1983):Anderson (1983): txtx 0)( txtx 0)(

EbbinghausEbbinghaus

10

100

10 100 1000 10000 100000

log10 (Retentionsintervall [Minuten])

log1

0 (E

rspa

rnis

[%

])

Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.

Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.

kt

ktx

c

)(log

100)(

10 kt

ktx

c

)(log

100)(

10

tadtx log)( tadtx log)(

Woodworth & Schlosberg (1954):

Woodworth & Schlosberg (1954):

Anderson (1983):Anderson (1983): txtx 0)( txtx 0)(

EbbinghausEbbinghaus

10

100

10 100 1000 10000 100000

log10 (Retentionsintervall [Minuten])

log1

0 (E

rspa

rnis

[%

])

Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.

Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.

kt

ktx

c

)(log

100)(

10 kt

ktx

c

)(log

100)(

10

tadtx log)( tadtx log)(

Woodworth & Schlosberg (1954):

Woodworth & Schlosberg (1954):

Anderson (1983):Anderson (1983): txtx 0)( txtx 0)(

KurvenanpassungKurvenanpassung

• Rubin, D.C. & Wenzel, A.E. (1996) One hundred years of forgetting: a quantitative description of retention.Psychol. Rev. 103, 734-760.

– 210 Datensätze– 105 zweiparametrige Formeln (theoriefrei)– kein Sieger

• Rubin, D.C. & Wenzel, A.E. (1996) One hundred years of forgetting: a quantitative description of retention.Psychol. Rev. 103, 734-760.

– 210 Datensätze– 105 zweiparametrige Formeln (theoriefrei)– kein Sieger

Gültigkeit des „Potenzgesetzes“Gültigkeit des „Potenzgesetzes“

• Material– Sinnlose Silben, Wörter– Alltagswissen– Fertigkeiten

• Explizites und implizites Gedächtnis• Lernen und Vergessen• Zeitbereiche

– Wixted & Ebbesen (1991): 2.5-40 s– Squire (1989): 1 - 15 Jahre

• Spezies– Menschen– Hunde, Ratten, Katzen, ...– Bienen

• Material– Sinnlose Silben, Wörter– Alltagswissen– Fertigkeiten

• Explizites und implizites Gedächtnis• Lernen und Vergessen• Zeitbereiche

– Wixted & Ebbesen (1991): 2.5-40 s– Squire (1989): 1 - 15 Jahre

• Spezies– Menschen– Hunde, Ratten, Katzen, ...– Bienen

• Material– Sinnlose Silben, Wörter– Alltagswissen– Fertigkeiten

• Explizites und implizites Gedächtnis• Lernen und Vergessen• Zeitbereiche

– Wixted & Ebbesen (1991): 2.5-40 s– Squire (1989): 1 - 15 Jahre

• Spezies– Menschen– Hunde, Ratten, Katzen, ...– Bienen

• Material– Sinnlose Silben, Wörter– Alltagswissen– Fertigkeiten

• Explizites und implizites Gedächtnis• Lernen und Vergessen• Zeitbereiche

– Wixted & Ebbesen (1991): 2.5-40 s– Squire (1989): 1 - 15 Jahre

• Spezies– Menschen– Hunde, Ratten, Katzen, ...– Bienen

Gültigkeit des „Potenzgesetzes“Gültigkeit des „Potenzgesetzes“

Baddeley, A. (1997)Human memory: Theory andpractice. Hove: Psychology Press. “We know surprisingly little about this most fundamental aspect of human memory.”

GedächtnismodelleGedächtnismodelle

• Jede Spur ist ein getrennter Knoten im Netzwerk.– Suche unter parallel aktivierten Spuren

• SAM (Raaijmakers & Shiffrin, 1980)

– Aktivierungsausbreitung zwischen den Spuren• ACT (Anderson, 1983)

• Die Spur ist auf alle beteiligten Knoten verteilt.Parallel Distributed Processing(Rumelhart McClelland 1986)

– Hopfield Netz (Hopfield & Tank, 1986)

• Jede Spur ist ein getrennter Knoten im Netzwerk.– Suche unter parallel aktivierten Spuren

• SAM (Raaijmakers & Shiffrin, 1980)

– Aktivierungsausbreitung zwischen den Spuren• ACT (Anderson, 1983)

• Die Spur ist auf alle beteiligten Knoten verteilt.Parallel Distributed Processing(Rumelhart McClelland 1986)

– Hopfield Netz (Hopfield & Tank, 1986)

Das Hopfield-Netz Das Hopfield-Netz

• N Neurone, symmetrisch all-to-all verbunden.cj Zustand des Neurons jwij Gewicht der Synapse zwischen Neuron j und Neuron i

• N Neurone, symmetrisch all-to-all verbunden.cj Zustand des Neurons jwij Gewicht der Synapse zwischen Neuron j und Neuron i

N

jjiji tcwtV

1

)1()(

N

jjiji tcwtV

1

)1()(

• Feuern probabilistisch.• Feuern probabilistisch.

• internes Potential = Summe der Aktivität Synapsengewichte.

• internes Potential = Summe der Aktivität Synapsengewichte.

kTVi iecp /1

1)feuert ( kTVi ie

cp /1

1)feuert (

internes Potentialp(

Feu

ern)

1k 1k

Hebbsches LernenHebbsches Lernen

• wij wird vergrößert, „wenn es mit den Geschehnissen kompatibel ist“.cj(t1) = +1, ci(t) = +1, oder cj(t1) = –1, ci(t) = –1.

• wij wird vergrößert, „wenn es mit den Geschehnissen kompatibel ist“.cj(t1) = +1, ci(t) = +1, oder cj(t1) = –1, ci(t) = –1.

• wij wird verkleinert, „wenn es mit den Geschehnissen inkompatibel ist“.cj(t1) = +1, ci(t) = –1, oder cj(t1) = –1, ci(t) = +1.

• wij wird verkleinert, „wenn es mit den Geschehnissen inkompatibel ist“.cj(t1) = +1, ci(t) = –1, oder cj(t1) = –1, ci(t) = +1.

• Größe der Veränderung: Lernrate • Größe der Veränderung: Lernrate

1ijw 1ijw

0iiw 0iiw

Vergessen im Hopfield-NetzVergessen im Hopfield-Netz• Start mit Idealgewichten für zu erinnerndes Muster.

• Hebbsches Lernen bei hoher Temperatur bewirkt allmähliches Vergessen.

• Start mit Idealgewichten für zu erinnerndes Muster.

• Hebbsches Lernen bei hoher Temperatur bewirkt allmähliches Vergessen.

txtx 0ln)(ln

textx 0)(

Diffusion mit HindernissenDiffusion mit Hindernissen

textx 0)( textx 0)(

E

x

ln kT E kTEe / kTEe /xx

dt

d xx

dt

d

txtx 0ln)(lnSystematisch durchvariieren:Neuronenzahl N = 8, 16, 32, 64Temperatur T = 0.1...0.5Lernrate = 0.1...0.4

Systematisch durchvariieren:Neuronenzahl N = 8, 16, 32, 64Temperatur T = 0.1...0.5Lernrate = 0.1...0.4

Mit steigendem sinkt E:

E 0.58

Mit steigendem sinkt E:

E 0.58

E

x

Diffusion mit HindernissenDiffusion mit Hindernissen

xxdt

d

xxdt

d

))(()( 0

tMLxtx ))(()( 0

tMLxtx

Häufigkeit

E

1,0 1,0

Nicht-exponentielle DiffusionNicht-exponentielle Diffusion

textx 0)( textx 0)(

kTEe / kTEe /E

x

xxdt

d xx

dt

d

log (Zeit)

log

(Sp

ur)

log (Zeit)

log

(Sp

ur)

Zeit

Sp

ur

Zeit

Sp

ur

Mittag-Leffler-FunktionMittag-Leffler-Funktion• Beispiel für = 0.5:• Beispiel für = 0.5:

• ML-Funktionen passen zu den Gedächtnis-Daten.

• ML-Funktionen haben keine Singularität bei t = 0.

• Es gibt eine erzeugende Differentialgleichung,die von einem mikromechanischen Modell motiviert ist.

• ML-Funktionen passen zu den Gedächtnis-Daten.

• ML-Funktionen haben keine Singularität bei t = 0.

• Es gibt eine erzeugende Differentialgleichung,die von einem mikromechanischen Modell motiviert ist.

?

Anwendbarkeit in derGedächtnispsychologie?

Fallen verschiedener TiefeFallen verschiedener Tiefe

• Bei einer Exponentialverteilung der Fallentiefe ergibt sich eine Wartezeitverteilung mit nicht-finitem Mittelwert:

• Bei einer Exponentialverteilung der Fallentiefe ergibt sich eine Wartezeitverteilung mit nicht-finitem Mittelwert:

• Einwand: Im Hopfieldnetz liegen bei konstantem Fallen gleicher Tiefe vor.

• Einwand: Im Hopfieldnetz liegen bei konstantem Fallen gleicher Tiefe vor.

E

1,0 ,1

)( :1

ttWt 1,0 ,

1)( :

1 t

tWt

EEEE

Dynamische FallenDynamische Fallen

• In der Neuroinformatik üblich: T oder mit der Zeit verkleinern.– simulated annealing: T nimmt ab.– Kohonen-Karten: nimmt ab.

• äquivalent: E vergrößern.

• In der Neuroinformatik üblich: T oder mit der Zeit verkleinern.– simulated annealing: T nimmt ab.– Kohonen-Karten: nimmt ab.

• äquivalent: E vergrößern.– setzt globalen Effektor voraus (Hormon?)– festes Zeitschema

• inadäquat für kontinuierlichen Input

– setzt globalen Effektor voraus (Hormon?)– festes Zeitschema

• inadäquat für kontinuierlichen Input

E

Dynamische FallenDynamische Fallen

• alternativer Ansatz: „adaptive Fallen“Je länger ein item in einer Falle ist,desto tiefer wird sie.

• alternativer Ansatz: „adaptive Fallen“Je länger ein item in einer Falle ist,desto tiefer wird sie.

mud trapmud trap• In der Neuroinformatik üblich:

T oder mit der Zeit verkleinern.– simulated annealing: T nimmt ab.– Kohonen-Karten: nimmt ab.

• äquivalent: E vergrößern.

• In der Neuroinformatik üblich: T oder mit der Zeit verkleinern.– simulated annealing: T nimmt ab.– Kohonen-Karten: nimmt ab.

• äquivalent: E vergrößern.– setzt globalen Effektor voraus (Hormon?)– festes Zeitschema

• inadäquat für kontinuierlichen Input

– setzt globalen Effektor voraus (Hormon?)– festes Zeitschema

• inadäquat für kontinuierlichen Input

1

1)( t

tW 1

1)( t

tW

kTEkTE tt ee //1 kTEkTE tt ee //1

Wartezeitverteilung mit nicht-finitem Mittelwert:Wartezeitverteilung mit nicht-finitem Mittelwert:

Hopfield mit dynamischen FallenHopfield mit dynamischen Fallen• Bei unverändertem Muster sinkt die Temperatur:

• Wenn sich das Muster ändert, wird die Temperatur wieder hochgesetzt.

• Bei unverändertem Muster sinkt die Temperatur:

• Wenn sich das Muster ändert, wird die Temperatur wieder hochgesetzt. tt TT ee /1/1 1 tt TT ee /1/1 1

Hopfield mit dynamischen FallenHopfield mit dynamischen Fallen• Bei unverändertem Muster sinkt die Lernrate:

• Wenn sich das Muster ändert, wird die Lernrate wieder hochgesetzt.

• Bei unverändertem Muster sinkt die Lernrate:

• Wenn sich das Muster ändert, wird die Lernrate wieder hochgesetzt.

tt ee

6.01

6.0

tt ee6.0

16.0

Steuerung pro NeuronSteuerung pro Neuron• Bei unverändertem Einzelverhalten des Neurons sinkt dessen Temperatur.

• Wenn sich das Einzelverhalten ändert, wird die Temperatur wieder hochgesetzt.

• Bei unverändertem Einzelverhalten des Neurons sinkt dessen Temperatur.

• Wenn sich das Einzelverhalten ändert, wird die Temperatur wieder hochgesetzt.

Lernen im Hopfield-NetzLernen im Hopfield-Netz

„Potenzgesetz“des Lernens

set effect

• Start mit zufälligen Gewichten. Hebbsches Lernen bei verrauschtem Muster.

• Bei unverändertem Muster sinkt die Lernrate. Wenn sich das Muster ändert, wird sie wieder hochgesetzt.

• Start mit zufälligen Gewichten. Hebbsches Lernen bei verrauschtem Muster.

• Bei unverändertem Muster sinkt die Lernrate. Wenn sich das Muster ändert, wird sie wieder hochgesetzt.

Bringt die mudtrap einen Vorteil?Bringt die mudtrap einen Vorteil?• Hebbsches Lernen bei verrauschtem Muster bewirkt allmähliches Lernen.

• Ab Zeitschritt 1000 wird unkorreliertes Rauschen eingesetzt: Vergessen.

• Hebbsches Lernen bei verrauschtem Muster bewirkt allmähliches Lernen.

• Ab Zeitschritt 1000 wird unkorreliertes Rauschen eingesetzt: Vergessen.

ohne mudtrap

mit mudtrap

Das Jostsche GesetzDas Jostsche Gesetz• Sind zwei Spuren jetzt unter einer bestimmten Operationalisierung gleich stark,

dann wird später diejenige stärker sein, die früher gesetzt wurde.• Sind zwei Spuren jetzt unter einer bestimmten Operationalisierung gleich stark,

dann wird später diejenige stärker sein, die früher gesetzt wurde.

Jost, A. (1897). Die Assoziationsfestigkeit in ihrer Abhängigkeit von der Verteilung der Wiederholungen. Zeitschrift für Psychologie und Physiologie der Sinnesorgane, 14, 436-472.

Jost, A. (1897). Die Assoziationsfestigkeit in ihrer Abhängigkeit von der Verteilung der Wiederholungen. Zeitschrift für Psychologie und Physiologie der Sinnesorgane, 14, 436-472.

Das NetzwerkDas Netzwerk

Sikström, S. (2002). Forgetting curves: implications for connectionist models. Cognitive Psychology 45, 95–152.

– verteilte Lerngeschwindigkeiten– primacy, recency-Effekte

Sikström, S. (2002). Forgetting curves: implications for connectionist models. Cognitive Psychology 45, 95–152.

– verteilte Lerngeschwindigkeiten– primacy, recency-Effekte

Sverker SikströmSverker SikströmIgor SokolovIgor Sokolov

Sokolov, I., Klafter, J., Blumen, A. (2002). Fractional Kinetics. Physics Today 55, 48-54.

– fraktale Kinetik

Sokolov, I., Klafter, J., Blumen, A. (2002). Fractional Kinetics. Physics Today 55, 48-54.

– fraktale Kinetik

FazitFazit• Das Lernen und Vergessen in einem Hopfield-Netz

mit verteilten oder adaptiven Fallen wird durch eine fraktale Differentialgleichung beschrieben und verläuft wie eine Mittag-Leffler-Funktion.– Wichtig ist nicht die genaue Implementierung.

• Wird menschliches Lernen/Vergessen durch eine fraktale DG beschrieben? Es könnte schon so sein...– Die Daten werden zwar nicht besser beschrieben, aber der Verlauf wird zum

ersten Mal von theoretischen Modellvorstellungen abgeleitet.

• Experimentelle Überprüfung– „Potenzgesetz“ zum x-ten Mal bestätigen: wenig hilfreich

• Das Lernen und Vergessen in einem Hopfield-Netz mit verteilten oder adaptiven Fallen wird durch eine fraktale Differentialgleichung beschrieben und verläuft wie eine Mittag-Leffler-Funktion.– Wichtig ist nicht die genaue Implementierung.

• Wird menschliches Lernen/Vergessen durch eine fraktale DG beschrieben? Es könnte schon so sein...– Die Daten werden zwar nicht besser beschrieben, aber der Verlauf wird zum

ersten Mal von theoretischen Modellvorstellungen abgeleitet.

• Experimentelle Überprüfung– „Potenzgesetz“ zum x-ten Mal bestätigen: wenig hilfreich

Memory is the thing you forget with. Alexander Chase, Perspectives (1966)Memory is the thing you forget with. Alexander Chase, Perspectives (1966)

log (Zeit)

log

(S

pu

r)

log (Zeit)

log

(S

pu

r)

– Abweichungen vom „Potenzgesetz“ findenVorhersage: für kleine t (Wixted & Ebbesen, 1991: 2.5 - 40 s)

Test: sensorisches Gedächtnis

– Abweichungen vom „Potenzgesetz“ findenVorhersage: für kleine t (Wixted & Ebbesen, 1991: 2.5 - 40 s)

Test: sensorisches Gedächtnis

learn andlearn and

AusblickAusblick

• Lebensdauer des auditiv sensorischen Gedächtnisses• Lebensdauer des auditiv sensorischen Gedächtnisses

2. Intervall1. Intervall

SOA Inhalt

Inhalt

log (Zeit)

log

(S

pu

r)

log (Zeit)

log

(S

pu

r)