Probleme multimodaler Transkodierung in Sprachlehr-CD-Roms und wie man sie lösen kann

Martin KaltenbacherUniversity of Salzburg

martin.kaltenbacher@sbg.ac.at

"What's the English word for ?"

1. Multimodalität: Text als Bild

Modus = semiotischer Kanal, über den ein Inhalt transportiert wird

Multimodalität = multi- / inter-semiotische Informationsdarstellung

Bilder und Textverständnis Bilder als Lernhilfe

1. Vokabellernen einst

und jetzt

1. Lunch

1. Liver

1. Poultry

1. Inhalt

1. Einleitung2. Das Medium Sprachlehr-CD-Rom3. Warum Bilder ???

(psycholinguistische Grundlagen) 4. Typische multimodale

Repräsentationsformen1. Rekodierungen2. Enkodierungen

5. Schlussfolgerungen

2. Das Medium

Sprachlehr-CD-Rom

2. Das Medium Sprachlehr-CD

Text (gesprochen, geschrieben, monologisch, dialogisch, narrative, …)

Bildmaterial (Fotos, Zeichnungen, Kartoons, skizzen, Graphiken)

Ton (Musik, Stimme, Geräusche) Audio und Video Sequenzen Interaktive Übungen in allen 4 skills Eigene Sprachaufnahmen

2. Produktentwicklung

erste Produkte (1990er Jahre) Wer zuerst kommt, malt zuerst! keine moderne

Spracherwerbstheorie veraltete Didaktik (pattern drills) keine Einbindung der Semiotik,

Linguistik, Didaktik viel Informatik

2. Neuere Produkte

Schulsoftware: Friends / You & Me

didaktisch stark verbessert(methodisch, kommunikativ)

nach wie vor wenig Verbesserungen in Semiotik (Design, Kohäsion, Multimodalität)

3. Warum Bilder?

Psychologische Grundlagen

3. Warum Bilder???Psychologische

GrundlagenAl-Seghayer (2001) Verknüpfen mehrerer Modi

statt einem Reize viele Reiz Stimulation mehrerer Hirnareale spezifischere und breiter gestreute

kognitive Verarbeitung referentielle Verknüpfung von vielen

mentalen Repräsentationen

3. Lernertypen

Multimodale Lernmaterialen auditive Lerner visuelle Lerner abstrakt verbale Lerner kommunikative Lerner motorische (haptische) Lerner

3. explizites und implizites Lernen

kontroversielle Debatte sowohl explizite als auch implizite

Lernstrategien (Wood 2001) verschiedene Repräsentationsarten

verschiedene Kontexte

4. Multimodale Kombinationen

RekodierungenEnkodierungen

4.Typische multimodale Kombinationen:

Rekodierungen / Enkodierungen1. Rekodierungen (explizit) 1. Wörter + Bilder (Fotos / Icons) 2. Wortfelder + Icons (picture

dictionaries)

2. Enkodierungen (implizit) 1. Phrasen / Sätze + Cartoons 2. Dialoge + Foto-stories 3. Wortfelder + Film

4.1.1. Rekodierung: Wort als Bild

Holiday Language Trainer – Englisch; Grosser CD-ROM Sprachtrainer Englisch. Tandem Verlag Multimedia Line (1995)

4.1.1. Discourse initiating unit (Halliday) Restaurant

4.1.1. Rindfleisch – Beef

4.1.1. Schweinefleisch – Pork

4.1.1. Lammfleisch – Lamb

4.1.1. Probleme

1. Expertenwissen 2. Semantische Relationen: Hyponymie

Hyperonym: FleischMesonym: Lammfleisch

(Fleisch + Lamm)Hyponym: Lammkotelette

(Fleisch + Lamm + Kotelette)

Anzahl distinktiver Merkmale

4.1.1. Lammfleisch – Lamb

4.1.1. Ikonisierung

Zuordnung eindeutiger Denotationen Icons vs. Fotos

Hyperonym: Icons = möglichst allgemein (wenig distinktive Merkmale)

Mesonym: Kombination von Icons

Hyponym: Foto = möglichst genau(viele distinktive Merkmale)

4.1.1. The New You & Me 4Unit 4 – You are what you eat,

4.1.1. Lammkotelettes – Lamb chops

4.1.1. Hund

4.1.1. Schäfer

4.1.1. Denotation / Konnotation

Ein Bild sagt mehr als 1000 Worte

Barthes (1977) "all images are polysemous", "a 'floating chain' of signifieds"

4.1.1. Schäfer

4.1.1. Abendessen / dinner

4.1.1. Kulturspezifische Unterschiede

Abendessen – Dinner keine kulturelle Übereinstimmung A/D: großes oder kleines Mahl am Abend UK: großes Mahl am Abend außer sonntags

Äquivalenz

Denotation Konnotation

Begriff + -Bild - +

4.1.1. Konnotation "eine Mixtur von

Konzepten" van Leeuwen (2005: 38) "connotation … mixture of concepts""culturally shared associations which cling to the represented people, places, things"

Abendessen / dinnerbildliche Darstellung der identischen Assoziationen

Erzeugen äquivalente begriffliche Denotation

4.1.1. Abendessen / dinner

4.1.1. Ikonisierung

4.1.2. Rekodierung: Wortfelder als Icons

Picture dictionaries The New You & ME 1

Unit 15: breakfast explizites Lernen:

Vokabeltraining

Friends 1, Unit 5

Picture Dictionary – Going shopping (sic)Übung – Favourite foods Vocabulary test

4.2.1. Enkodierung: Phrasen/Sätze als Cartoons

Phrasen / Sätze als Cartoons neues in bereits bekannte

Schemas integrieren (Wood 2001)

Informationsfluss: Given – New(Halliday; Kress & van Leeuwen)

4.2.1. Discourse initiating unit (Halliday) Restaurant

4.2.1. Could we have a table in the non-smoking area?

4.2.1. Could we have a table in the smoking area?

4.2.1. Visualisierbarkeit ?

Kontext (Given) gut visualisierbar

neue Information: oft schwer visualisierbarnon-smoking area vs. non-smoking areaDo you have any low fat dishes?Do you have any low cholesterol dishes?

4.2.1. I'd like …

I'd like something to eat.

I'd like some soup.

I'd like fish. I'd like white

wine. Do you have any

low fat dishes?

4.2.1. Have you got fish? I'll take the fish?I'd like to have fish.

4.2.1. Have you got spring rolls?

I'll take the spring rolls?I'd like to have spring rolls.

4.2.1. Do you take credit cards?

4.2.1. Vektoren (Kress & van Leeuwen 1996)

Vektoren = Verben dynamische Bewegung 2 Vektoren

dynamisches Verb take the credit card

Blicke: 2 Vektoren biete an: do you takewill haben: I will take

4.2.1. Do you take credit cards?

4.2.2. Enkodierung: Dialoge als Photo-

stories implizites Lernen Lernen im Kontext fortgeschritten eingebettet in Schema

(Schank & Abelson 1977) strikte generische Struktur

Language of service encounters (Hasan 1985; Ventola 1987)

4.2.2. Service encounters

Digital Publishing (1999): English: Kommunikationstrainer 3+.The market – buying gorceries

4.2.2. Sale request I'd like one garlic bulb, two lemons and three green peppers, please.

4.2.2. Sale compliance Anything else?

4.2.2. Sale request Yes, and some grapes please, about three bunches.

4.2.3. Enkodierung: Dialoge als Film

implizites Lernen Verstärken expliziter gelehrter

Inhalte andere Repräsentationsformen anderer Kontext andere Lernertypen

4.2.3. The New You & Me 1 (2004)

4.2.3. Probleme

zentrale Darstellung / Sichtbarmachung der neuen Inhalte

Visualisierung der Begriffe durch verschiedene Referenten

5. Schlussfolgerungen Visualisierung

enDidaktik

5. Visualisierungen

1. nicht jeder Text lässt sich visualisieren2. übergeordnete Begriffe (Hyperonyme):

ikonisieren3. untergeordnete Begriffe (Hyponyme):

fotografieren4. komplexe (konnotationsbeladene) Inhalte:

wesentliche distinktive Merkmale möglichst kulturneutral

dinner Uhrzeit

5. Visualisierungen

5. Abstrakte Inhaltegrundsätzlich nicht rekodierbar

anything else

manchmal erschließbar aus Kontex (Given) strikter generischer Struktur

5. Didaktik

1. Begriffe mehrfach präsentierenunterschiedliche Visualisierungen:

Icons, Fotos, Zeichnungen, Filmverschiedene Kontexte:

Dictionary, Frühstück, Supermarkt2. neue Begriffe in bestehende Schemas

und Kontexte integrieren3. explizites und implizites Lernen

verbinden

Danke!

References

Al-Seghayer, Khalid (2001): The Effect of Multimedia Annotation Modes on L2 Vocabulary Acquisition: a Comparative Study. In: Language Learning & Technology 5 (1), 202-232.

Baldry, Anthony & Thibault, Paul (2006): Multimodal Transcription and Text Analysis. London: Equinox.

Barthes, Roland (1977): Rhetoric of the Image. In: Heath, S. (ed.): Roland Barthes: Image, Music, Text. London: Fontana Press, 32-51.

Halliday, Michael A. K. (1994): An Introduction to Functional Grammar. London: Arnold. Hasan, Ruqaiya. (1985): The structure of a text. In Halliday, M.A.K./Hasan, R. (eds):

Language, Context, and Text: Aspects of Language in a Social-Semiotic Perspective. Victoria: Deakin University, 52-69.

Kaltenbacher, Martin (2003): Language learning via CD-Rom – old wine in new bottles. In: Newby, D. (ed.): Mediating between Theory and Practice in the Context of Different Learning Cultures and Languages. Strasbourg: Council of Europe Publishing, 171-175.

Kaltenbacher, Martin (2004): Multimodality in language teaching CD-Roms. In: Ventola, E./Charles, C./Kaltenbacher, M. (eds.): Perspectives on Multimodality. Amsterdam: John Benjamins, 119-136.

Kress, Gunther/van Leeuwen, Theo (2006): Reading Images. The Grammar of Visual Design. London/New York: Routledge.

Van Leeuwen, Theo (2005): Introducing Social Semiotics. London: Routledge. Ventola, Eija (1987): The Structure of Social Interaction: A Systemic Approach to the

Semiotics of Service Encounters. London: Pinter Publishers. Wood, Julie (2001): Can Software Support Children's Vocabulary Development? In:

Language Learning & Technology 5 (1), 166-201.

CD-Roms

Desktop Systems Ltd., Kiev, Ukraine (1995): Holiday Language Trainer – Englisch; Grosser CD-ROM Sprachtrainer Englisch. Königswinter: Tandem Verlag Multimedia Line.

Digital Publishing (1999): English: Kommunikationstrainer 3+. München: Digital Publishing.

Gerngroß, Günter et al. (1998): The New You & Me 1 – CD-Rom. München: Langenscheidt-Longman.