Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at

Embed Size (px)

Text of Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin...

  • Folie 1
  • Folie 2
  • Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lsen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at "What's the English word for ?"
  • Folie 3
  • 1. Multimodalitt: Text als Bild Modus = semiotischer Kanal, ber den ein Inhalt transportiert wird Multimodalitt = multi- / inter- semiotische Informationsdarstellung Bilder und Textverstndnis Bilder als Lernhilfe
  • Folie 4
  • 1. Vokabellernen einst
  • Folie 5
  • und jetzt
  • Folie 6
  • 1. Lunch
  • Folie 7
  • 1. Liver
  • Folie 8
  • 1. Poultry
  • Folie 9
  • 1. Inhalt Einleitung Das Medium Sprachlehr-CD-Rom Warum Bilder ??? (psycholinguistische Grundlagen) Typische multimodale Reprsentationsformen Rekodierungen Enkodierungen Schlussfolgerungen
  • Folie 10
  • 2. Das Medium Sprachlehr-CD-Rom
  • Folie 11
  • 2. Das Medium Sprachlehr-CD Text (gesprochen, geschrieben, monologisch, dialogisch, narrative, ) Bildmaterial (Fotos, Zeichnungen, Kartoons, skizzen, Graphiken) Ton (Musik, Stimme, Gerusche) Audio und Video Sequenzen Interaktive bungen in allen 4 skills Eigene Sprachaufnahmen
  • Folie 12
  • 2. Produktentwicklung erste Produkte (1990er Jahre) Wer zuerst kommt, malt zuerst! keine moderne Spracherwerbstheorie veraltete Didaktik (pattern drills) keine Einbindung der Semiotik, Linguistik, Didaktik viel Informatik
  • Folie 13
  • 2. Neuere Produkte Schulsoftware: Friends / You & Me didaktisch stark verbessert (methodisch, kommunikativ) nach wie vor wenig Verbesserungen in Semiotik (Design, Kohsion, Multimodalitt)
  • Folie 14
  • 3. Warum Bilder? Psychologische Grundlagen
  • Folie 15
  • 3. Warum Bilder??? Psychologische Grundlagen Al-Seghayer (2001) Verknpfen mehrerer Modi statt einem Reize viele Reiz Stimulation mehrerer Hirnareale spezifischere und breiter gestreute kognitive Verarbeitung referentielle Verknpfung von vielen mentalen Reprsentationen
  • Folie 16
  • 3. Lernertypen Multimodale Lernmaterialen auditive Lerner visuelle Lerner abstrakt verbale Lerner kommunikative Lerner motorische (haptische) Lerner
  • Folie 17
  • 3. explizites und implizites Lernen kontroversielle Debatte sowohl explizite als auch implizite Lernstrategien (Wood 2001) verschiedene Reprsentationsarten verschiedene Kontexte
  • Folie 18
  • 4.Multimodale Kombinationen Rekodierungen Enkodierungen
  • Folie 19
  • 4.Typische multimodale Kombinationen: Rekodierungen / Enkodierungen 1. Rekodierungen (explizit) 1. Wrter + Bilder (Fotos / Icons) 2. Wortfelder + Icons (picture dictionaries) 2. Enkodierungen (implizit) 1. Phrasen / Stze + Cartoons 2. Dialoge + Foto-stories 3. Wortfelder + Film
  • Folie 20
  • 4.1.1. Rekodierung: Wort als Bild Holiday Language Trainer Englisch; Grosser CD-ROM Sprachtrainer Englisch. Tandem Verlag Multimedia Line (1995)
  • Folie 21
  • 4.1.1. Discourse initiating unit (Halliday) Restaurant
  • Folie 22
  • 4.1.1. Rindfleisch Beef
  • Folie 23
  • 4.1.1. Schweinefleisch Pork
  • Folie 24
  • 4.1.1. Lammfleisch Lamb
  • Folie 25
  • 4.1.1. Probleme 1. Expertenwissen 2. Semantische Relationen: Hyponymie Hyperonym: Fleisch Mesonym:Lammfleisch (Fleisch + Lamm) Hyponym:Lammkotelette (Fleisch + Lamm + Kotelette) Anzahl distinktiver Merkmale
  • Folie 26
  • 4.1.1. Lammfleisch Lamb
  • Folie 27
  • 4.1.1. Ikonisierung Zuordnung eindeutiger Denotationen Icons vs. Fotos Hyperonym: Icons = mglichst allgemein (wenig distinktive Merkmale) Mesonym:Kombination von Icons Hyponym:Foto = mglichst genau (viele distinktive Merkmale)
  • Folie 28
  • 4.1.1. The New You & Me 4 Unit 4 You are what you eat,
  • Folie 29
  • 4.1.1. Lammkotelettes Lamb chops
  • Folie 30
  • 4.1.1. Hund
  • Folie 31
  • 4.1.1. Schfer
  • Folie 32
  • 4.1.1. Denotation / Konnotation Ein Bild sagt mehr als 1000 Worte Barthes (1977) "all images are polysemous", "a 'floating chain' of signifieds"
  • Folie 33
  • 4.1.1. Schfer
  • Folie 34
  • 4.1.1. Abendessen / dinner
  • Folie 35
  • 4.1.1. Kulturspezifische Unterschiede Abendessen Dinner keine kulturelle bereinstimmung A/D: groes oder kleines Mahl am Abend UK: groes Mahl am Abend auer sonntags quivalenzDenotationKonnotation Begriff+- Bild-+
  • Folie 36
  • 4.1.1. Konnotation "eine Mixtur von Konzepten" van Leeuwen (2005: 38) "connotation mixture of concepts" "culturally shared associations which cling to the represented people, places, things" Abendessen / dinner bildliche Darstellung der identischen Assoziationen Erzeugen quivalente begriffliche Denotation
  • Folie 37
  • 4.1.1. Abendessen / dinner
  • Folie 38
  • 4.1.1. Ikonisierung
  • Folie 39
  • 4.1.2. Rekodierung: Wortfelder als Icons Picture dictionaries The New You & ME 1 Unit 15: breakfast explizites Lernen: Vokabeltraining
  • Folie 40
  • Folie 41
  • Folie 42
  • Folie 43
  • Folie 44
  • Folie 45
  • Friends 1, Unit 5 Picture Dictionary Going shopping (sic) bung Favourite foods Vocabulary test
  • Folie 46
  • Folie 47
  • Folie 48
  • Folie 49
  • Folie 50
  • 4.2.1. Enkodierung: Phrasen/Stze als Cartoons Phrasen / Stze als Cartoons neues in bereits bekannte Schemas integrieren (Wood 2001) Informationsfluss: Given New (Halliday; Kress & van Leeuwen)
  • Folie 51
  • 4.2.1. Discourse initiating unit (Halliday) Restaurant
  • Folie 52
  • 4.2.1. Could we have a table in the non-smoking area?
  • Folie 53
  • 4.2.1. Could we have a table in the smoking area?
  • Folie 54
  • 4.2.1. Visualisierbarkeit ? Kontext (Given) gut visualisierbar neue Information: oft schwer visualisierbar non-smoking area vs. non-smoking area Do you have any low fat dishes? Do you have any low cholesterol dishes?
  • Folie 55
  • 4.2.1. I'd like I'd like something to eat. I'd like some soup. I'd like fish. I'd like white wine. Do you have any low fat dishes?
  • Folie 56
  • Folie 57
  • 4.2.1. Have you got fish? I'll take the fish? I'd like to have fish.
  • Folie 58
  • 4.2.1. Have you got spring rolls? I'll take the spring rolls? I'd like to have spring rolls.
  • Folie 59
  • 4.2.1. Do you take credit cards?
  • Folie 60
  • 4.2.1. Vektoren (Kress & van Leeuwen 1996) Vektoren = Verben dynamische Bewegung 2 Vektoren dynamisches Verb take the credit card Blicke: 2 Vektoren biete an: do you take will haben: I will take
  • Folie 61
  • 4.2.1. Do you take credit cards?
  • Folie 62
  • 4.2.2. Enkodierung: Dialoge als Photo-stories implizites Lernen Lernen im Kontext fortgeschritten eingebettet in Schema (Schank & Abelson 1977) strikte generische Struktur Language of service encounters (Hasan 1985; Ventola 1987)
  • Folie 63
  • 4.2.2. Service encounters Digital Publishing (1999): English: Kommunikationstrainer 3+. The market buying gorceries
  • Folie 64
  • 4.2.2.Sale request I'd like one garlic bulb, two lemons and three green peppers, please.
  • Folie 65
  • 4.2.2.Sale compliance Anything else?
  • Folie 66
  • 4.2.2.Sale request Yes, and some grapes please, about three bunches.
  • Folie 67
  • 4.2.3. Enkodierung: Dialoge als Film implizites Lernen Verstrken expliziter gelehrter Inhalte andere Reprsentationsformen anderer Kontext andere Lernertypen
  • Folie 68
  • 4.2.3. The New You & Me 1 (2004)
  • Folie 69
  • 4.2.3. Probleme zentrale Darstellung / Sichtbarmachung der neuen Inhalte Visualisierung der Begriffe durch verschiedene Referenten
  • Folie 70
  • 5. Schlussfolgerungen Visualisierungen Didaktik
  • Folie 71
  • 5. Visualisierungen nicht jeder Text lsst sich visualisieren bergeordnete Begriffe (Hyperonyme): ikonisieren untergeordnete Begriffe (Hyponyme): fotografieren komplexe (konnotationsbeladene) Inhalte: wesentliche distinktive Merkmale mglichst kulturneutral dinner Uhrzeit
  • Folie 72
  • 5. Visualisierungen Abstrakte Inhalte grundstzlich nicht rekodierbar anything else manchmal erschliebar aus Kontex (Given) strikter generischer Struktur
  • Folie 73
  • 5. Didaktik Begriffe mehrfach prsentieren unterschiedliche Visualisierungen: Icons, Fotos, Zeichnungen, Film verschiedene Kontexte: Dictionary, Frhstck, Supermarkt neue Begriffe in bestehende Schemas und Kontexte integrieren explizites und impli