Verkörperte Kognition
Die Verankerung von Begriffen in Wahrnehmung und Handlung
Markus Kiefer
Universität Ulm
Sektion für Kognitive Elektrophysiologe
Klinik für Psychiatrie und Psychotherapie III
Universität Düsseldorf, 09.10.2014
Das Verhältnis von Sprache zu den Dingen: Semiotisches Dreieck
Tuba
länglich, Metall, blasen,tiefe Töne
Wort Objekt
Begriff
Richards & Ogden (1923)
Semantisches Gedächtnis (Tulving, 1972)
� Teil des menschlichen Langzeitgedächtnisses
� begriffliches Wissen über Gegenstände und Handlungen
� Wortbedeutung
� z.B. Begriff HUND:– vier Beine, Fell, Schwanz, bellt, kann gestreichelt werden
� involviert in– Objekterkennung und -kategorisierung
– Sprachproduktion und Sprachrezeption
5./6. Jahrhundert v. Chr.Bedeutung von Begriffen für Handlungen
Wenn die Begriffe nicht richtig sind, so stimmen die Worte nicht; stimmen die Worte nicht, so kommen die Werke nicht zustande
Konfuzius(Chinesischer Philosoph 551-479 v. Chr.)
Das Primat der Sinneseindrücke
Alle Gedanken bzw. Vorstellungen gehenauf Sinneseindrücke (impressions) sowieauf deren blassere Abbilder (ideas) zurück
David Hume (1748). An enquiry concerning human understanding.
Kategorien stehen vor der Wahrnehmung
Raum, Zeit, Kausalität sowie Kategorien stellendie apriorischen Bedingungen der Erfahrungdar. Sie strukturieren die Sinneseindrücke.
Immanuel Kant (1781). Kritik der reinen Vernunft
EEG Aufzeichnung/Ereigniskorrelierte Potentiale (EKP)
Hohe zeitlicheAuflösung im Bereich von Millisekunden
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364
S 22
Klassische Sicht:Einheitliches semantisches System
� Amodales Repräsentationssystem
� getrennt von den sensorischen und motorischen Repräsentationen
Semant.Gedächtnis
VisuellerInput
AkustischerInput
Audit. Objekt-repräsentationen
Visuelle Objekt-repräsentationen
Motor.repräsentationen
(Collins & Loftus, 1975; Humphreys et al., 1988;Tyler & Moss, 2001)
Klassische Sicht:Einheitliches semantisches System
treeflower
fish bird
oakfir rose
tulipsalmon trout heron
sparrow
leaf
needlesthorn
bulb silvereatable
long_beak
smallsmell
resin greyhas has has has has has
is_a
isis has
is
is
is_a
is_ais_a is_a is_a is_a
is_a is_a
is_a is_a is_a is_a
is_a
living being
plant animal
trunk branches
chloro-phyll
roots
scales fins
feathers
fly
move
metabolism
hashas
stem
blossomshas
hashas
hascan
has
has
can
Collins & Loftus (1975)
Multiple semantische Systeme:Modalitätsspezifische Repräsentationen
� Begriff=verteiltes Aktivationsmuster über multiple modalitätsspezifische Systeme
VisuellerInput
AuditiverInput
Audit. Objekt-repräsentationen
Visuelle Objekt-repräsentationen
motor representations
aud. semant.subsystem
vis. semant.Subsystem
mot. semant.subsystem
(Barsalou et al., 2003; Humphreys & Forde, 2001; Kiefer & Barsalou 2012; Kiefer & Pulvermüller, 2012; Kiefer & Spitzer, 2001; Pulvermüller, 1999)
Modalitätsspezifische semantische Systeme
HAMMER
KATZE
Handlungs-wissen visuelles
Wissen
Kiefer, M. & Spitzer, M. (2001). Trends in Cognitive Sciences, 5, 469-471
Begriffe verankert in Wahnehmung und Handlung:Vier grundlegende Vorhersagen
Aktivität bei begrifflichen Aufgaben überlappt mit Aktivität bei Wahrnehmung und Handlung
Sensorische und motorische Systeme sind notwendigund werden automatisch aktiviert
Sensorische und motorische Aktivität erfolgt früh während begrifflicher Aufgaben
Begriffliche Verarbeitung hängt von der früheren sensu-motorischen Erfahrungab.Kiefer, M. & Barsalou, L.W. (2012)
Handlung
visuell
Handlung
Klang
Dynamical recruitment of modality-specific semantic features
� Flexible conceptual representations (Barsalou, 1982)– dynamical
– dependent on contextual constraints
– comprised of differentially activated modality-specific features
� Task-dependent category-related activation in sensory and motor regions
Task-dependent category-related activity:Design of the combined fMRI and ERP study
Hoenig, K., Sim, E.-J., Bochev, V.. Herrnberger, B., & Kiefer, M. (2008). Journal of Cognitive Neuroscience
fMRI results:Interaction between task and category
Hoenig, K., Sim, E.-J., Bochev, V.. Herrnberger, B., & Kiefer, M. (2008). Journal of Cognitive Neuroscience
ERP results: Time course of the interaction between task and category:
Hoenig, K., Sim, E.-J., Bochev, V.. Herrnberger, B., & Kiefer, M. (2008). Journal of Cognitive Neuroscience
Nobject training study: Categories and training groups
Action pantomime training group Pointing training group
Kiefer, Sim, Liebig, Hauk & Tanaka (2007). Journal of Cognitive Neuroscience
Nobject training study:Main experiment after training
� Category verification task– Does the category name matches with the nobject picture or not
palo kurn
Kiefer, Sim, Liebig, Hauk & Tanaka (2007). Journal of Cognitive Neuroscience
ERP source analysis of training effects:Minimum-norm difference maps
pant>point
point> pant
Kiefer, Sim, Liebig, Hauk & Tanaka (2007). Journal of Cognitive Neuroscience
A 117 ms
B 160 ms
C 312 ms
Left Right Top
Pointing
+0.14
-0.14
nA/cm2Poin
tingPan
tomime
Pantomi
mePan
tomime -
Pointing
+0.35
-0.35
+0.35
-0.35
Action priming paradigm:Procedure
+
Fix until keypress
Objects with similar or dissimilar actions
700 ms170 ms
42 ms70 ms
x ms1000 ms
T1
T2
Task: Name objects in the order of presentation
presentation time was adjusted according to a preceding staircase experiment to achieve an accuracy level of 80 %
Action Priming Effect
incongr congr0.7
0.8
0.9
Helbig, H.B, Graf, M., & Kiefer, M. (2006). Experimental Brain Research
Action priming paradigm:ERP study
-8
-6
-4
-2
2
4
6
8
[µV]
-500 -400 -300 -200 -100 100 200 300 400 500[ms]
80 ms
Kiefer, M , Sim, E-J., Helbig, H.B, & Graf, M. (2011). Journal of Cognitive Neuroscience
fronto-central electrodes
Action priming paradigm
Action incongruent
Action congruent
Helbig, H.B, Steinwender, J., Graf, M., & Kiefer, M. (2010). Experimental Brain Research
axe
drill2000 ms
80 ms 250 ms
Action priming: fMRI results
BA 6
BA 38
BA 42 BA 18/19V 5 BA 44
BA 6BA 7
con>inconincon>con
Sim, E-J., Helbig, H.B, & Graf, M., & Kiefer, M (2014). Cerebral Cortex
Action priming: Effective Connectivity
Sim, E-J., Helbig, H.B, & Graf, M., & Kiefer, M (2014). Cerebral Cortex
The sound of concepts: Representation of acoustic conceptual features: Task and design
Kiefer, Sim, Herrnberger, Grothe, & Hoenig (2008). The Journal of Neuroscience
The sound of concepts: Here rings „telephone“ in your head: fMRI results
Kiefer, Sim, Herrnberger, Grothe, & Hoenig (2008). The Journal of Neuroscience
The sound of concepts: Here rings „telephone“ in your head: fMRI results
Kiefer, Sim, Herrnberger, Grothe, & Hoenig (2008). The Journal of Neuroscience
The sound of concepts: Here rings „telephone“ in your head: ERP results
Kiefer, Sim, Herrnberger, Grothe, & Hoenig (2008). The Journal of Neuroscience
Unconscious perception: Visual masking
unmasked masked
Kiefer (2002). Cognitive Brain Research; Kiefer & Martens (2010). Journal of Experimental Psychology: General
Feature-specific masked repetition priming: Unconscious automatic conceptual processing
Repetition of action words: hammer-hammerRepetition of sound words: radio-radio
Trumpp, Traub, Pulvermüller, & Kiefer (2014). Journal of Cognitive Neuroscience
Feature-specific masked repetition priming: Unconscious automatic conceptual processing
Trumpp, Traub, Pulvermüller, & Kiefer (2014). Journal of Cognitive Neuroscience
Loosing the sound of concepts after brain damage
Functional neuroanatomy of conceptual sound processing
Trumpp, Kliese, Hoenig, Haarmeier & Kiefer (2012). Cortex
Patient TU (m, 33 years)Focal lesion (1.7 cm) in left superior/middle temporal areas due to an abscess
Loosing the sound of concepts after brain damage
400
500
600
700
800
900
1000
1100
patient control group
reac
tion
time
[ms]
high acoustic relevance
low acoustic relevance
0
1
2
3
4
5
6
patient control group
num
ber o
f err
ors
high acoustic relevance
low acoustic relevance
*
*
Loosing the sound of concepts after brain damage
Trumpp, Kliese, Hoenig, Haarmeier & Kiefer (2012). Cortex
Name generation task: Objects that elicit sound
Representation of musical instruments in professional musicians
Musicalinstruments
Controlobjects
Ulm Philharmonic Orchestra
drilltuba
Hoenig, Müller, Herrnberger, Spitzer, Ehret, & Kiefer (2011). NeuroImage
Representation of musical instruments in professional musicians
Musical instruments > control objects
Hoenig, Müller, Herrnberger, Spitzer, Ehret, & Kiefer (2011). NeuroImage
Schlussfolgerung/Diskussion:Begriffe in sensorischen und motorischen Systemen
Handlung
Aktivität in sensorischen und motorischen Arealen
Anatomische Überlappung der Aktivität bei sensu-motorischer und Begriffsverarbeitung
Unbewusste sensu-motorische Aktivität
Kausale Verbindung zwischen sensu-motorischen Systemen und Begriffsverarbeitung
Grundierung von abstrakten Begriffen in den sensorischen und motorischen Systemen
Mehr Evidenz zur kausalen Rolle von sensu-motorischen Systemen für Begriffsverarbeitung
Erfahrungsabhängige sensu-motorische Aktivität
visuell
Handlung
Klang
Früher Beginn der sensu-motorischen Aktivität
Dank an
� Natalie Trumpp, University of Ulm
� Eun-Jin Sim, University of Ulm
� Klaus Hoenig, University of Ulm
� Bärbel Herrnberger , University of Ulm
� Jo Grothe , University of Ulm
� Sarah Liebich, University of Ulm
� Viktor Bochev, University of Ulm
� Regula Gr. von Soden-Fraunhofen, University of Ulm
� Manfred Spitzer, University of Ulm
� Friedemann Pulvermüller, Free University of Berlin, Germany
� Markus Graf, Max-Planck Institute for Cognitive and Brain Sciences, Munich
� Hannah Helbig, Max-Planck Institute for Biological Cybernetics, Tübingen
� Olaf Hauk, MRC Brain and Cognition Unit, Cambridge, UK
� Larry Barsalou Emory University, U.S.A.
� Jim Tanaka, University of Victoria, Canada