of 75/75
Probleme multimodaler Transkodierung in Sprachlehr-CD-Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg [email protected] "What's the English word for ?"

Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg [email protected]

  • View
    104

  • Download
    1

Embed Size (px)

Text of Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin...

  • Folie 1
  • Folie 2
  • Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lsen kann Martin Kaltenbacher University of Salzburg [email protected] "What's the English word for ?"
  • Folie 3
  • 1. Multimodalitt: Text als Bild Modus = semiotischer Kanal, ber den ein Inhalt transportiert wird Multimodalitt = multi- / inter- semiotische Informationsdarstellung Bilder und Textverstndnis Bilder als Lernhilfe
  • Folie 4
  • 1. Vokabellernen einst
  • Folie 5
  • und jetzt
  • Folie 6
  • 1. Lunch
  • Folie 7
  • 1. Liver
  • Folie 8
  • 1. Poultry
  • Folie 9
  • 1. Inhalt Einleitung Das Medium Sprachlehr-CD-Rom Warum Bilder ??? (psycholinguistische Grundlagen) Typische multimodale Reprsentationsformen Rekodierungen Enkodierungen Schlussfolgerungen
  • Folie 10
  • 2. Das Medium Sprachlehr-CD-Rom
  • Folie 11
  • 2. Das Medium Sprachlehr-CD Text (gesprochen, geschrieben, monologisch, dialogisch, narrative, ) Bildmaterial (Fotos, Zeichnungen, Kartoons, skizzen, Graphiken) Ton (Musik, Stimme, Gerusche) Audio und Video Sequenzen Interaktive bungen in allen 4 skills Eigene Sprachaufnahmen
  • Folie 12
  • 2. Produktentwicklung erste Produkte (1990er Jahre) Wer zuerst kommt, malt zuerst! keine moderne Spracherwerbstheorie veraltete Didaktik (pattern drills) keine Einbindung der Semiotik, Linguistik, Didaktik viel Informatik
  • Folie 13
  • 2. Neuere Produkte Schulsoftware: Friends / You & Me didaktisch stark verbessert (methodisch, kommunikativ) nach wie vor wenig Verbesserungen in Semiotik (Design, Kohsion, Multimodalitt)
  • Folie 14
  • 3. Warum Bilder? Psychologische Grundlagen
  • Folie 15
  • 3. Warum Bilder??? Psychologische Grundlagen Al-Seghayer (2001) Verknpfen mehrerer Modi statt einem Reize viele Reiz Stimulation mehrerer Hirnareale spezifischere und breiter gestreute kognitive Verarbeitung referentielle Verknpfung von vielen mentalen Reprsentationen
  • Folie 16
  • 3. Lernertypen Multimodale Lernmaterialen auditive Lerner visuelle Lerner abstrakt verbale Lerner kommunikative Lerner motorische (haptische) Lerner
  • Folie 17
  • 3. explizites und implizites Lernen kontroversielle Debatte sowohl explizite als auch implizite Lernstrategien (Wood 2001) verschiedene Reprsentationsarten verschiedene Kontexte
  • Folie 18
  • 4.Multimodale Kombinationen Rekodierungen Enkodierungen
  • Folie 19
  • 4.Typische multimodale Kombinationen: Rekodierungen / Enkodierungen 1. Rekodierungen (explizit) 1. Wrter + Bilder (Fotos / Icons) 2. Wortfelder + Icons (picture dictionaries) 2. Enkodierungen (implizit) 1. Phrasen / Stze + Cartoons 2. Dialoge + Foto-stories 3. Wortfelder + Film
  • Folie 20
  • 4.1.1. Rekodierung: Wort als Bild Holiday Language Trainer Englisch; Grosser CD-ROM Sprachtrainer Englisch. Tandem Verlag Multimedia Line (1995)
  • Folie 21
  • 4.1.1. Discourse initiating unit (Halliday) Restaurant
  • Folie 22
  • 4.1.1. Rindfleisch Beef
  • Folie 23
  • 4.1.1. Schweinefleisch Pork
  • Folie 24
  • 4.1.1. Lammfleisch Lamb
  • Folie 25
  • 4.1.1. Probleme 1. Expertenwissen 2. Semantische Relationen: Hyponymie Hyperonym: Fleisch Mesonym:Lammfleisch (Fleisch + Lamm) Hyponym:Lammkotelette (Fleisch + Lamm + Kotelette) Anzahl distinktiver Merkmale
  • Folie 26
  • 4.1.1. Lammfleisch Lamb
  • Folie 27
  • 4.1.1. Ikonisierung Zuordnung eindeutiger Denotationen Icons vs. Fotos Hyperonym: Icons = mglichst allgemein (wenig distinktive Merkmale) Mesonym:Kombination von Icons Hyponym:Foto = mglichst genau (viele distinktive Merkmale)
  • Folie 28
  • 4.1.1. The New You & Me 4 Unit 4 You are what you eat,
  • Folie 29
  • 4.1.1. Lammkotelettes Lamb chops
  • Folie 30
  • 4.1.1. Hund
  • Folie 31
  • 4.1.1. Schfer
  • Folie 32
  • 4.1.1. Denotation / Konnotation Ein Bild sagt mehr als 1000 Worte Barthes (1977) "all images are polysemous", "a 'floating chain' of signifieds"
  • Folie 33
  • 4.1.1. Schfer
  • Folie 34
  • 4.1.1. Abendessen / dinner
  • Folie 35
  • 4.1.1. Kulturspezifische Unterschiede Abendessen Dinner keine kulturelle bereinstimmung A/D: groes oder kleines Mahl am Abend UK: groes Mahl am Abend auer sonntags quivalenzDenotationKonnotation Begriff+- Bild-+
  • Folie 36
  • 4.1.1. Konnotation "eine Mixtur von Konzepten" van Leeuwen (2005: 38) "connotation mixture of concepts" "culturally shared associations which cling to the represented people, places, things" Abendessen / dinner bildliche Darstellung der identischen Assoziationen Erzeugen quivalente begriffliche Denotation
  • Folie 37
  • 4.1.1. Abendessen / dinner
  • Folie 38
  • 4.1.1. Ikonisierung
  • Folie 39
  • 4.1.2. Rekodierung: Wortfelder als Icons Picture dictionaries The New You & ME 1 Unit 15: breakfast explizites Lernen: Vokabeltraining
  • Folie 40
  • Folie 41
  • Folie 42
  • Folie 43
  • Folie 44
  • Folie 45
  • Friends 1, Unit 5 Picture Dictionary Going shopping (sic) bung Favourite foods Vocabulary test
  • Folie 46
  • Folie 47
  • Folie 48
  • Folie 49
  • Folie 50
  • 4.2.1. Enkodierung: Phrasen/Stze als Cartoons Phrasen / Stze als Cartoons neues in bereits bekannte Schemas integrieren (Wood 2001) Informationsfluss: Given New (Halliday; Kress & van Leeuwen)
  • Folie 51
  • 4.2.1. Discourse initiating unit (Halliday) Restaurant
  • Folie 52
  • 4.2.1. Could we have a table in the non-smoking area?
  • Folie 53
  • 4.2.1. Could we have a table in the smoking area?
  • Folie 54
  • 4.2.1. Visualisierbarkeit ? Kontext (Given) gut visualisierbar neue Information: oft schwer visualisierbar non-smoking area vs. non-smoking area Do you have any low fat dishes? Do you have any low cholesterol dishes?
  • Folie 55
  • 4.2.1. I'd like I'd like something to eat. I'd like some soup. I'd like fish. I'd like white wine. Do you have any low fat dishes?
  • Folie 56
  • Folie 57
  • 4.2.1. Have you got fish? I'll take the fish? I'd like to have fish.
  • Folie 58
  • 4.2.1. Have you got spring rolls? I'll take the spring rolls? I'd like to have spring rolls.
  • Folie 59
  • 4.2.1. Do you take credit cards?
  • Folie 60
  • 4.2.1. Vektoren (Kress & van Leeuwen 1996) Vektoren = Verben dynamische Bewegung 2 Vektoren dynamisches Verb take the credit card Blicke: 2 Vektoren biete an: do you take will haben: I will take
  • Folie 61
  • 4.2.1. Do you take credit cards?
  • Folie 62
  • 4.2.2. Enkodierung: Dialoge als Photo-stories implizites Lernen Lernen im Kontext fortgeschritten eingebettet in Schema (Schank & Abelson 1977) strikte generische Struktur Language of service encounters (Hasan 1985; Ventola 1987)
  • Folie 63
  • 4.2.2. Service encounters Digital Publishing (1999): English: Kommunikationstrainer 3+. The market buying gorceries
  • Folie 64
  • 4.2.2.Sale request I'd like one garlic bulb, two lemons and three green peppers, please.
  • Folie 65
  • 4.2.2.Sale compliance Anything else?
  • Folie 66
  • 4.2.2.Sale request Yes, and some grapes please, about three bunches.
  • Folie 67
  • 4.2.3. Enkodierung: Dialoge als Film implizites Lernen Verstrken expliziter gelehrter Inhalte andere Reprsentationsformen anderer Kontext andere Lernertypen
  • Folie 68
  • 4.2.3. The New You & Me 1 (2004)
  • Folie 69
  • 4.2.3. Probleme zentrale Darstellung / Sichtbarmachung der neuen Inhalte Visualisierung der Begriffe durch verschiedene Referenten
  • Folie 70
  • 5. Schlussfolgerungen Visualisierungen Didaktik
  • Folie 71
  • 5. Visualisierungen nicht jeder Text lsst sich visualisieren bergeordnete Begriffe (Hyperonyme): ikonisieren untergeordnete Begriffe (Hyponyme): fotografieren komplexe (konnotationsbeladene) Inhalte: wesentliche distinktive Merkmale mglichst kulturneutral dinner Uhrzeit
  • Folie 72
  • 5. Visualisierungen Abstrakte Inhalte grundstzlich nicht rekodierbar anything else manchmal erschliebar aus Kontex (Given) strikter generischer Struktur
  • Folie 73
  • 5. Didaktik Begriffe mehrfach prsentieren unterschiedliche Visualisierungen: Icons, Fotos, Zeichnungen, Film verschiedene Kontexte: Dictionary, Frhstck, Supermarkt neue Begriffe in bestehende Schemas und Kontexte integrieren explizites und implizites Lernen verbinden
  • Folie 74
  • Danke!
  • Folie 75
  • References Al-Seghayer, Khalid (2001): The Effect of Multimedia Annotation Modes on L2 Vocabulary Acquisition: a Comparative Study. In: Language Learning & Technology 5 (1), 202-232. Baldry, Anthony & Thibault, Paul (2006): Multimodal Transcription and Text Analysis. London: Equinox. Barthes, Roland (1977): Rhetoric of the Image. In: Heath, S. (ed.): Roland Barthes: Image, Music, Text. London: Fontana Press, 32-51. Halliday, Michael A. K. (1994): An Introduction to Functional Grammar. London: Arnold. Hasan, Ruqaiya. (1985): The structure of a text. In Halliday, M.A.K./Hasan, R. (eds): Language, Context, and Text: Aspects of Language in a Social-Semiotic Perspective. Victoria: Deakin University, 52-69. Kaltenbacher, Martin (2003): Language learning via CD-Rom old wine in new bottles. In: Newby, D. (ed.): Mediating between Theory and Practice in the Context of Different Learning Cultures and Languages. Strasbourg: Council of Europe Publishing, 171-175. Kaltenbacher, Martin (2004): Multimodality in language teaching CD-Roms. In: Ventola, E./Charles, C./Kaltenbacher, M. (eds.): Perspectives on Multimodality. Amsterdam: John Benjamins, 119-136. Kress, Gunther/van Leeuwen, Theo (2006): Reading Images. The Grammar of Visual Design. London/New York: Routledge. Van Leeuwen, Theo (2005): Introducing Social Semiotics. London: Routledge. Ventola, Eija (1987): The Structure of Social Interaction: A Systemic Approach to the Semiotics of Service Encounters. London: Pinter Publishers. Wood, Julie (2001): Can Software Support Children's Vocabulary Development? In: Language Learning & Technology 5 (1), 166-201.
  • Folie 76
  • CD-Roms Desktop Systems Ltd., Kiev, Ukraine (1995): Holiday Language Trainer Englisch; Grosser CD-ROM Sprachtrainer Englisch. Knigswinter: Tandem Verlag Multimedia Line. Digital Publishing (1999): English: Kommunikationstrainer 3+. Mnchen: Digital Publishing. Gerngro, Gnter et al. (1998): The New You & Me 1 CD-Rom. Mnchen: Langenscheidt-Longman.