Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at

  • Published on
    05-Apr-2015

  • View
    103

  • Download
    1

Embed Size (px)

Transcript

<ul><li> Folie 1 </li> <li> Folie 2 </li> <li> Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lsen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at "What's the English word for ?" </li> <li> Folie 3 </li> <li> 1. Multimodalitt: Text als Bild Modus = semiotischer Kanal, ber den ein Inhalt transportiert wird Multimodalitt = multi- / inter- semiotische Informationsdarstellung Bilder und Textverstndnis Bilder als Lernhilfe </li> <li> Folie 4 </li> <li> 1. Vokabellernen einst </li> <li> Folie 5 </li> <li> und jetzt </li> <li> Folie 6 </li> <li> 1. Lunch </li> <li> Folie 7 </li> <li> 1. Liver </li> <li> Folie 8 </li> <li> 1. Poultry </li> <li> Folie 9 </li> <li> 1. Inhalt Einleitung Das Medium Sprachlehr-CD-Rom Warum Bilder ??? (psycholinguistische Grundlagen) Typische multimodale Reprsentationsformen Rekodierungen Enkodierungen Schlussfolgerungen </li> <li> Folie 10 </li> <li> 2. Das Medium Sprachlehr-CD-Rom </li> <li> Folie 11 </li> <li> 2. Das Medium Sprachlehr-CD Text (gesprochen, geschrieben, monologisch, dialogisch, narrative, ) Bildmaterial (Fotos, Zeichnungen, Kartoons, skizzen, Graphiken) Ton (Musik, Stimme, Gerusche) Audio und Video Sequenzen Interaktive bungen in allen 4 skills Eigene Sprachaufnahmen </li> <li> Folie 12 </li> <li> 2. Produktentwicklung erste Produkte (1990er Jahre) Wer zuerst kommt, malt zuerst! keine moderne Spracherwerbstheorie veraltete Didaktik (pattern drills) keine Einbindung der Semiotik, Linguistik, Didaktik viel Informatik </li> <li> Folie 13 </li> <li> 2. Neuere Produkte Schulsoftware: Friends / You &amp; Me didaktisch stark verbessert (methodisch, kommunikativ) nach wie vor wenig Verbesserungen in Semiotik (Design, Kohsion, Multimodalitt) </li> <li> Folie 14 </li> <li> 3. Warum Bilder? Psychologische Grundlagen </li> <li> Folie 15 </li> <li> 3. Warum Bilder??? Psychologische Grundlagen Al-Seghayer (2001) Verknpfen mehrerer Modi statt einem Reize viele Reiz Stimulation mehrerer Hirnareale spezifischere und breiter gestreute kognitive Verarbeitung referentielle Verknpfung von vielen mentalen Reprsentationen </li> <li> Folie 16 </li> <li> 3. Lernertypen Multimodale Lernmaterialen auditive Lerner visuelle Lerner abstrakt verbale Lerner kommunikative Lerner motorische (haptische) Lerner </li> <li> Folie 17 </li> <li> 3. explizites und implizites Lernen kontroversielle Debatte sowohl explizite als auch implizite Lernstrategien (Wood 2001) verschiedene Reprsentationsarten verschiedene Kontexte </li> <li> Folie 18 </li> <li> 4.Multimodale Kombinationen Rekodierungen Enkodierungen </li> <li> Folie 19 </li> <li> 4.Typische multimodale Kombinationen: Rekodierungen / Enkodierungen 1. Rekodierungen (explizit) 1. Wrter + Bilder (Fotos / Icons) 2. Wortfelder + Icons (picture dictionaries) 2. Enkodierungen (implizit) 1. Phrasen / Stze + Cartoons 2. Dialoge + Foto-stories 3. Wortfelder + Film </li> <li> Folie 20 </li> <li> 4.1.1. Rekodierung: Wort als Bild Holiday Language Trainer Englisch; Grosser CD-ROM Sprachtrainer Englisch. Tandem Verlag Multimedia Line (1995) </li> <li> Folie 21 </li> <li> 4.1.1. Discourse initiating unit (Halliday) Restaurant </li> <li> Folie 22 </li> <li> 4.1.1. Rindfleisch Beef </li> <li> Folie 23 </li> <li> 4.1.1. Schweinefleisch Pork </li> <li> Folie 24 </li> <li> 4.1.1. Lammfleisch Lamb </li> <li> Folie 25 </li> <li> 4.1.1. Probleme 1. Expertenwissen 2. Semantische Relationen: Hyponymie Hyperonym: Fleisch Mesonym:Lammfleisch (Fleisch + Lamm) Hyponym:Lammkotelette (Fleisch + Lamm + Kotelette) Anzahl distinktiver Merkmale </li> <li> Folie 26 </li> <li> 4.1.1. Lammfleisch Lamb </li> <li> Folie 27 </li> <li> 4.1.1. Ikonisierung Zuordnung eindeutiger Denotationen Icons vs. Fotos Hyperonym: Icons = mglichst allgemein (wenig distinktive Merkmale) Mesonym:Kombination von Icons Hyponym:Foto = mglichst genau (viele distinktive Merkmale) </li> <li> Folie 28 </li> <li> 4.1.1. The New You &amp; Me 4 Unit 4 You are what you eat, </li> <li> Folie 29 </li> <li> 4.1.1. Lammkotelettes Lamb chops </li> <li> Folie 30 </li> <li> 4.1.1. Hund </li> <li> Folie 31 </li> <li> 4.1.1. Schfer </li> <li> Folie 32 </li> <li> 4.1.1. Denotation / Konnotation Ein Bild sagt mehr als 1000 Worte Barthes (1977) "all images are polysemous", "a 'floating chain' of signifieds" </li> <li> Folie 33 </li> <li> 4.1.1. Schfer </li> <li> Folie 34 </li> <li> 4.1.1. Abendessen / dinner </li> <li> Folie 35 </li> <li> 4.1.1. Kulturspezifische Unterschiede Abendessen Dinner keine kulturelle bereinstimmung A/D: groes oder kleines Mahl am Abend UK: groes Mahl am Abend auer sonntags quivalenzDenotationKonnotation Begriff+- Bild-+ </li> <li> Folie 36 </li> <li> 4.1.1. Konnotation "eine Mixtur von Konzepten" van Leeuwen (2005: 38) "connotation mixture of concepts" "culturally shared associations which cling to the represented people, places, things" Abendessen / dinner bildliche Darstellung der identischen Assoziationen Erzeugen quivalente begriffliche Denotation </li> <li> Folie 37 </li> <li> 4.1.1. Abendessen / dinner </li> <li> Folie 38 </li> <li> 4.1.1. Ikonisierung </li> <li> Folie 39 </li> <li> 4.1.2. Rekodierung: Wortfelder als Icons Picture dictionaries The New You &amp; ME 1 Unit 15: breakfast explizites Lernen: Vokabeltraining </li> <li> Folie 40 </li> <li> Folie 41 </li> <li> Folie 42 </li> <li> Folie 43 </li> <li> Folie 44 </li> <li> Folie 45 </li> <li> Friends 1, Unit 5 Picture Dictionary Going shopping (sic) bung Favourite foods Vocabulary test </li> <li> Folie 46 </li> <li> Folie 47 </li> <li> Folie 48 </li> <li> Folie 49 </li> <li> Folie 50 </li> <li> 4.2.1. Enkodierung: Phrasen/Stze als Cartoons Phrasen / Stze als Cartoons neues in bereits bekannte Schemas integrieren (Wood 2001) Informationsfluss: Given New (Halliday; Kress &amp; van Leeuwen) </li> <li> Folie 51 </li> <li> 4.2.1. Discourse initiating unit (Halliday) Restaurant </li> <li> Folie 52 </li> <li> 4.2.1. Could we have a table in the non-smoking area? </li> <li> Folie 53 </li> <li> 4.2.1. Could we have a table in the smoking area? </li> <li> Folie 54 </li> <li> 4.2.1. Visualisierbarkeit ? Kontext (Given) gut visualisierbar neue Information: oft schwer visualisierbar non-smoking area vs. non-smoking area Do you have any low fat dishes? Do you have any low cholesterol dishes? </li> <li> Folie 55 </li> <li> 4.2.1. I'd like I'd like something to eat. I'd like some soup. I'd like fish. I'd like white wine. Do you have any low fat dishes? </li> <li> Folie 56 </li> <li> Folie 57 </li> <li> 4.2.1. Have you got fish? I'll take the fish? I'd like to have fish. </li> <li> Folie 58 </li> <li> 4.2.1. Have you got spring rolls? I'll take the spring rolls? I'd like to have spring rolls. </li> <li> Folie 59 </li> <li> 4.2.1. Do you take credit cards? </li> <li> Folie 60 </li> <li> 4.2.1. Vektoren (Kress &amp; van Leeuwen 1996) Vektoren = Verben dynamische Bewegung 2 Vektoren dynamisches Verb take the credit card Blicke: 2 Vektoren biete an: do you take will haben: I will take </li> <li> Folie 61 </li> <li> 4.2.1. Do you take credit cards? </li> <li> Folie 62 </li> <li> 4.2.2. Enkodierung: Dialoge als Photo-stories implizites Lernen Lernen im Kontext fortgeschritten eingebettet in Schema (Schank &amp; Abelson 1977) strikte generische Struktur Language of service encounters (Hasan 1985; Ventola 1987) </li> <li> Folie 63 </li> <li> 4.2.2. Service encounters Digital Publishing (1999): English: Kommunikationstrainer 3+. The market buying gorceries </li> <li> Folie 64 </li> <li> 4.2.2.Sale request I'd like one garlic bulb, two lemons and three green peppers, please. </li> <li> Folie 65 </li> <li> 4.2.2.Sale compliance Anything else? </li> <li> Folie 66 </li> <li> 4.2.2.Sale request Yes, and some grapes please, about three bunches. </li> <li> Folie 67 </li> <li> 4.2.3. Enkodierung: Dialoge als Film implizites Lernen Verstrken expliziter gelehrter Inhalte andere Reprsentationsformen anderer Kontext andere Lernertypen </li> <li> Folie 68 </li> <li> 4.2.3. The New You &amp; Me 1 (2004) </li> <li> Folie 69 </li> <li> 4.2.3. Probleme zentrale Darstellung / Sichtbarmachung der neuen Inhalte Visualisierung der Begriffe durch verschiedene Referenten </li> <li> Folie 70 </li> <li> 5. Schlussfolgerungen Visualisierungen Didaktik </li> <li> Folie 71 </li> <li> 5. Visualisierungen nicht jeder Text lsst sich visualisieren bergeordnete Begriffe (Hyperonyme): ikonisieren untergeordnete Begriffe (Hyponyme): fotografieren komplexe (konnotationsbeladene) Inhalte: wesentliche distinktive Merkmale mglichst kulturneutral dinner Uhrzeit </li> <li> Folie 72 </li> <li> 5. Visualisierungen Abstrakte Inhalte grundstzlich nicht rekodierbar anything else manchmal erschliebar aus Kontex (Given) strikter generischer Struktur </li> <li> Folie 73 </li> <li> 5. Didaktik Begriffe mehrfach prsentieren unterschiedliche Visualisierungen: Icons, Fotos, Zeichnungen, Film verschiedene Kontexte: Dictionary, Frhstck, Supermarkt neue Begriffe in bestehende Schemas und Kontexte integrieren explizites und implizites Lernen verbinden </li> <li> Folie 74 </li> <li> Danke! </li> <li> Folie 75 </li> <li> References Al-Seghayer, Khalid (2001): The Effect of Multimedia Annotation Modes on L2 Vocabulary Acquisition: a Comparative Study. In: Language Learning &amp; Technology 5 (1), 202-232. Baldry, Anthony &amp; Thibault, Paul (2006): Multimodal Transcription and Text Analysis. London: Equinox. Barthes, Roland (1977): Rhetoric of the Image. In: Heath, S. (ed.): Roland Barthes: Image, Music, Text. London: Fontana Press, 32-51. Halliday, Michael A. K. (1994): An Introduction to Functional Grammar. London: Arnold. Hasan, Ruqaiya. (1985): The structure of a text. In Halliday, M.A.K./Hasan, R. (eds): Language, Context, and Text: Aspects of Language in a Social-Semiotic Perspective. Victoria: Deakin University, 52-69. Kaltenbacher, Martin (2003): Language learning via CD-Rom old wine in new bottles. In: Newby, D. (ed.): Mediating between Theory and Practice in the Context of Different Learning Cultures and Languages. Strasbourg: Council of Europe Publishing, 171-175. Kaltenbacher, Martin (2004): Multimodality in language teaching CD-Roms. In: Ventola, E./Charles, C./Kaltenbacher, M. (eds.): Perspectives on Multimodality. Amsterdam: John Benjamins, 119-136. Kress, Gunther/van Leeuwen, Theo (2006): Reading Images. The Grammar of Visual Design. London/New York: Routledge. Van Leeuwen, Theo (2005): Introducing Social Semiotics. London: Routledge. Ventola, Eija (1987): The Structure of Social Interaction: A Systemic Approach to the Semiotics of Service Encounters. London: Pinter Publishers. Wood, Julie (2001): Can Software Support Children's Vocabulary Development? In: Language Learning &amp; Technology 5 (1), 166-201. </li> <li> Folie 76 </li> <li> CD-Roms Desktop Systems Ltd., Kiev, Ukraine (1995): Holiday Language Trainer Englisch; Grosser CD-ROM Sprachtrainer Englisch. Knigswinter: Tandem Verlag Multimedia Line. Digital Publishing (1999): English: Kommunikationstrainer 3+. Mnchen: Digital Publishing. Gerngro, Gnter et al. (1998): The New You &amp; Me 1 CD-Rom. Mnchen: Langenscheidt-Longman. </li> </ul>