Entwicklung und erste Validierung eines Tests zur Erfassung technologischer und informationsbezogener Literacy (TILT) für Jugendliche am Ende der Sekundarstufe I; Development and

Allgemeiner Teil

Zusammenfassung: Ziel dieser Untersuchung war es, einen reliablen und validen Test zur Er-fassung von ICT Literacy (= Information and Communication Technologies Literacy) zu entwi-ckeln. Dieser wurde im Hinblick auf flexible Einsatzmöglichkeiten als Papier-und-Bleistift-Test konzipiert. Die Ergebnisse zweier Untersuchungen (Pilotierungsstudie: N = 308; Validierungs-stichprobe der Testendform: N = 263) wiesen bei zufriedenstellenden Item- und Skalenwerten auf die Eindimensionalität des Konstrukts hin. Prüfungen des Testinstruments zur konvergenten und diskriminanten Validität zeigten die erwarteten Zusammenhänge mit computerbezogenen Schü-lermerkmalen. Ergänzend wiesen Expertenreviews auf eine zufriedenstellende Inhaltsvalidität hin. Analysen zum Zusammenhang mit allgemeinen kognitiven Fähigkeiten belegten im Sinne der Konstruktvalidität zum einen die empirische Eigenständigkeit von ICT Literacy gegenüber kognitiven Grundfähigkeiten und zum anderen die inkrementelle Validität von Merkmalen der Computervertrautheit. Die Befunde werden im Hinblick auf noch offene Fragen zur Konstrukt-validität des Testinstruments diskutiert.

Schlüsselwörter: ICT Literacy · Kompetenzbasierter Test · Validität

Z Erziehungswiss (2013) 16:671–691DOI 10.1007/s11618-013-0446-5

Online publiziert: 05.10.2013 © Springer Fachmedien Wiesbaden 2013

Dr. M. Senkbeil () · Dr. J. M. IhmeLeibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel, Olshausenstraße 62, 24118 Kiel, DeutschlandE-Mail: [email protected]

Dr. J. M. IhmeE-Mail: [email protected]

Prof. Dr. J. WittwerArbeitsbereich Studium und Lehre, Georg-August-Universität Göttingen, Waldweg 26, 37073 Göttingen, DeutschlandE-Mail: [email protected]

Entwicklung und erste Validierung eines Tests zur Erfassung technologischer und informationsbezogener Literacy (TILT) für Jugendliche am Ende der Sekundarstufe I

Martin Senkbeil · Jan Marten Ihme · Jörg Wittwer

672 M. Senkbeil et al.

Development and validation of a technological and informational literacy test (TILT) for end of secondary school

Abstract: The objective of this study was to develop a reliable and valid test to ascertain ICT literacy 0 = Information and Communication Technologies Literacy). It was designed as a paper-and-pencil test to ensure that it can be used flexibly. The results of two studies (pilot study: N = 308; validation sample of the final form of the test: N = 263) showed satisfactory item and scale values and indicated the one-dimensional nature of the construct. Tests of the test instru-ments for convergence and discrimination validity showed the expected links with computer-related pupil characteristics. To supplement this, expert reviews indicated a satisfactory content validity. Analyses of the construct validity showed that ICT literacy was clearly distinguishable from general cognitive abilities and, at the same time, possessed incremental validity in addition to other measures of computer literacy. The findings are discussed in relation to open questions about the construct validity of the test instrument.

Keywords: Competence-based test · ICT Literacy · Validation

1 Einleitung

Ein kompetenter Umgang mit Informations- und Kommunikationstechnologien ist in unserer heutigen Wissensgesellschaft unerlässlich, um den vielfältigen Anforderungen der verschiedenen Lebensbereiche gerecht zu werden (z. B. ETS 2002). Entsprechende Fähigkeiten spielen nicht nur bei der Aufgabenbewältigung im Beruf oder im Alltag, son-dern auch in der schulischen und beruflichen Aus- und Weiterbildung eine Rolle (z. B. Poynton 2005; Wittwer und Senkbeil 2008). Die Beherrschung von Computer- und Inter-netanwendungen (ICT Literacy) stellt demnach ein wichtiges Bildungsziel dar, welchem im Rahmen von Bildungsprozessen eine Schlüsselfunktion zukommt (Blossfeld et al. 2008). Da angesichts der zunehmend erforderlichen Flexibilisierung in Beruf und Gesell-schaft große Bereiche des Wissens über die gesamte Lebensspanne weitgehend selbstge-steuert und vornehmlich über digitale Medien anzueignen sind (Kozma 2009), wird ICT auch als Metakompetenz verstanden (Weinert et al. 2011).

Neuere Konzeptionen der ICT Literacy berücksichtigen neben technologischen Kom-petenzen, worunter grundlegendes deklaratives und prozedurales Funktionswissen über Hardware und Programmanwendungen wie z. B. Textverarbeitung zu verstehen ist (Rich-ter et al. 2010), vor allem Aspekte der Informationskompetenz. Darunter wird die Fähigkeit verstanden, mit Hilfe digitaler Medien Informationen zu ermitteln, sie kritisch auszuwäh-len und sie effektiv zu nutzen (ETS 2002). Digitale Medien werden demnach als Werk-zeug betrachtet, mit dem man Informationen in verschiedenen Anforderungssituationen (z. B. Schule, Ausbildung, Beruf, Freizeit) für spezifische Zielsetzungen nutzen kann. Ein typisches Beispiel für den schulischen Kontext wäre die Erstellung eines Referats zu einem bestimmten Thema, indem zunächst anhand einer internetgestützten Recherche relevante Informationen ermittelt und anschließend mit Hilfe ausgewählter Programman-wendungen (z. B. Textverarbeitung, Präsentationsprogramm) adressatengerecht aufberei-tet werden (z. B. Walraven et al. 2008). Für die Messung von informationsbezogenen und technologischen Kompetenzen existieren bislang nur wenige Testinstrumente in Form

673Entwicklung und erste Validierung eines Tests zur Erfassung …

computerbasierter Performanztests (z. B. i-Skills Test, Katz 2007; National Assessment Program – ICT Literacy, MCEETYA 2007). In der Mehrzahl erfassen bestehende Test-verfahren entweder technologische Kompetenzen (z. B. Bradlow et al. 2002; Richter et al. 2010) oder ausschließlich Internetanwendungen (z. B. Kuhlemeier und Hemker 2007).

Ziel dieses Beitrags ist die Darstellung eines neu entwickelten Tests zur Erfassung technologischer und informationsbezogener Literacy (TILT). Neben der Testkonzeption werden Ergebnisse zur psychometrischen Qualität, zur Struktur und zu ausgewählten Aspekten der Validität von TILT vorgestellt. Der TILT wird an Jugendlichen am Ende der Pflichtschulzeit (d. h. kurz vor dem Eintritt in das Ausbildungs- und Berufsleben) unter-sucht, da sich deren computerbezogene Kompetenzen auf die weitere Ausbildung (z. B. den Erwerb eines Ausbildungsplatzes) auswirken können (vgl. Blossfeld et al. 2008).

2 Konzeptualisierung und Erfassung von ICT Literacy

ICT Literacy wird in diesem Beitrag als Kompetenz und somit als kontextspezifische kognitive Leistungsdisposition konzeptualisiert (Klieme et al. 2008), die erlernte Wis-sensbestände, Fertigkeiten und Routinen beinhaltet und eine erfolgreiche Bewältigung informationsbezogener Anforderungen im Umgang mit digitalen Medien ermöglicht. Dabei stehen funktionale – von den Anforderungen der Lebens- und Arbeitswelt aus-gehende – Kompetenzen im Vordergrund (Weinert et al. 2011). Eine mit diesem funk-tionalen Kompetenzbegriff übereinstimmende Definition wurde beispielsweise vom ICT Litercay Panel (ETS 2002) formuliert, die auch den theoretischen Bezugspunkt für die Entwicklung von TILT bildet: „ICT literacy is the ability to appropriately use digital tech-nology, communication tools, and/or networks to solve information problems in order to function in an information society. This includes having the ability to use technology as a tool to research, organize, and communicate information“ (Katz 2007, S. 6). Dabei werden bis zu sieben Prozesskomponenten (define, access, evaluate, manage, integrate, create und communicate) unterschieden, wobei jede der Prozesskomponenten als Zusam-menwirken von kognitiven und technologischen Fähigkeiten verstanden wird. Dabei wird angenommen, dass ICT Literacy zwar starke Überlappungen zu anderen Kompetenzen aufweist (z. B. schlussfolgerndes Denken, Lesekompetenz, Problemlösen), aber eine von diesen unterscheidbare und eigenständige Kompetenz darstellt.

Die Erfassung computerbezogener Kompetenzen erfolgt bislang sehr unterschiedlich. Neben klassischen Papier-und-Bleistift-Tests werden überwiegend Selbsteinschätzungen und zunehmend auch computerbasierte Simulationsaufgaben zur Operationalisierung von ICT Literacy eingesetzt (Kuhlemeier und Hemker 2007). Da das hier vorgestellte Instrument TILT im Hinblick auf eine möglichst flexible Einsetzbarkeit (z. B. nicht PC-gestützt, in Large-Scale-Untersuchungen, als Kontrollvariable bei computerbasierten Testverfahren) als Papier-und-Bleistift-Test mit Mehrfachwahl-Aufgaben konzipiert wird, sind zunächst die Vor- und Nachteile der einzelnen Erhebungsmethoden zu erörtern.

Im Vergleich mit Selbsteinschätzungsmaßen, die häufig zur indirekten Erfassung von ICT Literacy eingesetzt werden, besitzen Wissenstests eine größere Objektivität und Ver-fälschungssicherheit. Selbsteinschätzungen computerbezogener Kenntnisse gehen in der Regel mit Überschätzungen der eigenen Fähigkeiten einher (Bradlow et al. 2002) und


unterliegen zudem systematischen Verzerrungen (z. B. in Abhängigkeit von Geschlecht, kognitiven Fähigkeiten oder sozialer Herkunft), so dass sie kein valides Maß für die tatsächlichen Computerkenntnisse darstellen (zusammenfassend z. B. Kuhlemeier und Hemker 2007).

Computerbasierte Performanztests (z. B. ETS iSkills Assessment, Katz 2007; Natio-nal Assessment Program ICT Literacy, MCEETYA 2007) haben gegenüber Papier-und-Bleistift-Tests den Vorteil, dass Testpersonen mit authentischen Problemstellungen in interaktiven Testumgebungen konfrontiert werden. Darüber hinaus haben Papier-und-Bleistift-Tests den Nachteil, dass die computerbezogenen Handlungen selbst (Fertig-keiten), Prozessindikatoren wie z. B. Antwort- und Reaktionszeiten (Goldhammer et al. 2013) sowie strategisches Wissen (Süß 1996) nicht direkt erhoben werden können. Mit strategischem Wissen sind zielgerichtete Denk- und Handlungsabläufe gemeint, die bei der Bearbeitung komplexerer Aufgaben (z. B. Erstellen einer informativen und verständ-lichen Grafik aufgrund einer vorgegebenen Tabelle anhand mehrerer Handlungsschritte in einer weitgehend festgelegten Reihenfolge) benötigt werden. Ein weiterer Nachteil beim Einsatz von Mehrfachwahlaufgaben ist, dass diese in höherem Maße als Items mit offenem Antwortformat der Gefahr unterliegen, aufgrund allgemeiner kognitiver Fähig-keiten (z. B. logisches Schlussfolgern) gelöst zu werden (konstrukt-irrelevante Varianz; Huff und Sireci 2001).

Vorteile von Papier-Bleistift-Tests gegenüber computerbasierten Performanztests können testökonomisch und testtheoretisch begründet werden: a) Es ist kein zeit- und ressourcenintensiver Programmieraufwand notwendig. b) Es gibt keine Probleme bezüg-lich notwendiger technischer Ressourcen zur Sicherstellung standardisierter Erhebun-gen (z. B. unterschiedliche Prozessoren). c) Mehrfachwahl-Aufgaben sind schneller zu bearbeiten, so dass pro Zeiteinheit eine größere Anzahl an Testitems vorgelegt werden und das Konstrukt somit breiter, tiefer und mit einer höheren Reliabilität erfasst werden kann. d) Entsprechend können bislang bei computerbasierten Performanztests ungeklärte Fragen der Dimensionalität angemessen überprüft werden. Dies betrifft beispielsweise konkurrierende Modellvorstellungen, nach denen ICT Literacy entweder als eindimen-sionales Konstrukt (Zusammenwirken technologischer und allgemeiner kognitiver Fähig-keiten) oder als zweidimensionales Konstrukt (technologische und kognitive Fähigkeiten als korrelierte, aber distinkte Faktoren) aufzufassen ist (Markauskaite 2007).

Zusammengefasst weisen Papier-und-Bleistift-Tests im Vergleich zu computerbasier-ten Performanztests vornehmlich Einschränkungen in der Konstruktrepräsentation (Huff und Sireci 2001) auf. Mit diesen können deklarative und prozedurale Wissensbestände erfasst werden, die erfolgreiches Handeln mit Computer und Internet wahrscheinlich machen, aber nicht das computerbezogene Handeln selbst (prozedurale Fertigkeiten) und nicht das benötigte strategische Wissen. Jedoch bieten Papier-und-Bleistift-Tests neben den erwähnten Vorzügen den Vorteil, dass komplexere Anforderungen (z. B. Erstellen einer Grafik) in ihre einzelnen Wissenskomponenten zerlegt und stochastisch unabhängig (z. B. mit Hilfe von Screenshots) erfasst werden können (s. a. Abschn. 3).


3 Die Testkonzeption und Testkonstruktion des TILT

Die Entwicklung von TILT erfolgte im Rahmen des Projekts Nationales Bildungspanel (Blossfeld et al. 2011). Primäre Zielgruppe waren Jugendliche am Ende ihrer Pflicht-schulzeit. ICT Literacy wird als eindimensionales Konstrukt konzeptualisiert, das sich als Strukturmodell prozess- und inhaltsbezogener Kompetenzen darstellen lässt (Abb. 1). Die prozessbezogenen Kompetenzen lassen sich in technologische und informationsbe-zogene Anforderungen unterscheiden, die inhaltsbezogenen Kompetenzen werden nach Desktopanwendungen und Internetanwendungen differenziert.

Für eine differenzierte Konzeptualisierung der prozessbezogenen Kompetenzen orien-tieren wir uns an der Rahmenkonzeption des ICT Litercay Panel (ETS 2002). Diese defi-niert verschiedene Prozesskomponenten, welche die benötigten Wissensbestände und Fähigkeiten beschreiben, die für einen zielorientierten Umgang mit Informations- und Kommunikationstechnologien notwendig sind (Katz 2007). In Anlehnung an diese Kon-zeption unterscheiden wir folgende Prozesskomponenten:

Anwenden und Verstehen (A/V). Grundkenntnisse über das Betriebssystem und rele-vante Programmanwendungen (z. B. Textverarbeitung) sowie Kenntnisse grundlegender Operationen, um auf Informationen zugreifen zu können (z. B. ein Dokument öffnen und speichern),

Erzeugen (E). Fähigkeit, Dokumente und Dateien zu bearbeiten oder zu erstellen (z. B. Tabellen anlegen, Formeln setzen),

Suchen und Organisieren (S/O). Fähigkeit, Informationen effizient zu ermitteln (z. B. adäquate Suchbegriffe eingeben), Informationen miteinander nach spezifischen Kriterien zu vergleichen (z. B. Datensätze sortieren) oder Informationen mit Hilfe von Programm-anwendungen zu organisieren (z. B. ermittelte Informationen in einer Tabelle auflisten),

Bewerten (B). Fähigkeit, Informationen (z. B. hinsichtlich Glaubwürdigkeit) zu bewer-ten und auf dieser Grundlage Entscheidungen zu treffen,

Abb. 1: Strukturmodell zur Erfassung von ICT Litercay an-hand des TILT


Kommunizieren (K). Fähigkeit, Informationen angemessen und verständlich zu kom-munizieren (z. B. E-Mails schreiben, informative und verständliche Grafiken erstellen). Für die Testentwicklung wurden die ersten zwei Prozesskomponenten (Anwenden und Verstehen, Erzeugen) der technologischen Kompetenz, die letzten drei Prozesskompo-nenten (Suchen und Organisieren, Bewerten, Kommunizieren) der informationsbezo-genen Kompetenz zugeordnet. Hinsichtlich der notwendigen Wissensstrukturen lag für technologische Kompetenzen die Annahme zugrunde, dass vornehmlich automatisierte, d. h. durch Übung erworbene Routinen, abzurufen sind. Für die Bewältigung solcher Routineaufgaben (z. B. Formatieren eines Textdokuments) sind deklaratives Wissen (z. B. terminologisches Wissen) und prozedurales Wissen (z. B. praktische Fähigkeiten im Umgang mit spezifischen Computeranwendungen) notwendig (z. B. Mayer 2002). Bei informationsbezogenen Aufgaben ist über den Abruf von Wissen aus dem Langzeitge-dächtnis hinaus neues Wissen zu generieren, z. B. bei der internetgestützten Suche und Bewertung von Informationen. Für die Problemlösung benötigte kognitive Prozesse sind etwa schlussfolgerndes Denken oder das Vergleichen und Bewerten von Informationen (Mayer 2002).

Bei den inhaltsbezogenen Kompetenzen wurden für die Testkonstruktion diejenigen Programmanwendungen berücksichtigt, die für informationsbezogene Anforderungen benötigt werden (ETS 2002): Bei den Desktopanwendungen werden Betriebssystem und Textverarbeitung (B/T), Tabellenkalkulation (T) und Präsentationsprogramme (P) unterschieden, bei den Internetanwendungen werden E-Mail- und andere Kommunika-tionsanwendungen wie z. B. Foren (E/K) sowie internetgestützte Suchmaschinen und Datenbanken (S) differenziert.

Bei der Testkonstruktion sollten die erwähnten Vorzüge computerbasierter Perfor-manztests weitgehend integriert werden (vgl. Kuhlemeier und Hemker 2007). Hierfür wurden Testitems mit realistischen Problemstellungen in einer Fülle authentischer Situ-ationen konstruiert. Die Testitems erfassten (im Sinne deklarativer und prozeduraler Wissensbestände nach Süß 1996), ob die Testpersonen angemessen mit bestimmten Auf-gabenstellungen umgehen können, indem sie gefragt wurden, was sie in der betreffenden Situation tun würden. Für eine möglichst realitätsnahe Gestaltung wurden bei den meisten Testaufgaben Screenshots eingesetzt (z. B. von einem Internet-Browser, elektronischen Datenbanken oder Tabellenkalkulationen). Bei den Items zur technologischen Kompe-tenz wurden als Distraktoren in aller Regel realistische Antwortalternativen in Form von Schaltflächen oder Menüs vorgegeben, die in die jeweiligen Screenshots integriert waren (siehe Abb. 2 für ein Beispielitem). Analog wurden bei informationsbezogenen Aufgaben beispielsweise authentische Suchmasken herangezogen und für die Konstruktion der Ant-wortmöglichkeiten verwendet (siehe Abb. 3 für ein Beispielitem). Durch diese Operatio-nalisierung wurde sichergestellt, dass für die Lösung der Items über allgemeine kognitive Fähigkeiten hinaus auch technologische Kompetenzen und Erfahrung mit der jeweiligen Programmanwendung benötigt werden.


4 Untersuchungsziele und Forschungsfragen

Die vorliegende Studie diente einer Überprüfung der psychometrischen Qualität sowie von Aspekten der Konstrukt- und Kriteriumsvalidität des TILT. Konkret ergaben sich folgende Untersuchungsziele und Forschungsfragen:

Abb. 2: Beispielitem zur Prozesskomponente Anwenden und Verstehen (Programmanwendung: Betriebssys-tem und Textverarbeitung)


1. Neben der Überprüfung der Item- und Skalenkennwerte wurde im Hinblick auf eine eindeutige Interpretation der Testresultate eine Skalierbarkeit nach dem Rasch-Mo-dell (1PL-Modell) angestrebt (Wilson 2005). Um die Angemessenheit dieser Annah-me zu überprüfen, wurde das 1PL-Modell (das identische Trennschärfen voraussetzt) mit einem 2PL-Modell (mit frei geschätzten Trennschärfen) verglichen.

2. Die angenommene Eindimensionalität des Tests wurde anhand alternativer Modelle überprüft, die sich aus der Testkonzeption ableiten lassen. Hinsichtlich der prozessbe-zogenen Kompetenzen wurde neben einem zweidimensionalen Modell, das technolo-gische und informationsbezogene Kompetenzen unterscheidet, ein fünfdimensionales Modell (Prozesskomponenten als Dimensionen) unterschieden. Analog wurden für die inhaltsbezogenen Kompetenzen ein zweidimensionales Modell (Desktop- vs. Internetanwendungen) und ein fünfdimensionales Modell (fünf Programmanwendun-gen) formuliert (siehe Abb. 1 für eine schematische Darstellung der Dimensionen).

3. Die Überprüfung von Aspekten der Validität erfolgte anhand verschiedener Kriterien:

a. Die Inhaltsvalidität des Tests wurde von nationalen Expertinnen und Experten hin-sichtlich zweier Fragestellungen beurteilt: Wie gut spiegeln die für die Lösung der Aufgabe notwendigen Fähigkeiten das zu messende Konstrukt wider? (Frage 1) und Wie wichtig ist das für die Lösung der Aufgabe notwendige Wissen für die Al-

Abb. 3: Beispielitem zur Prozesskomponente Suchen und Organisieren (Programmanwendung: internetge-stützte Suchmaschinen und Datenbanken)


tersstufe im Hinblick auf das weitere Ausbildungs- und Berufsleben? (Frage 2). Die Einschätzungen erfolgten jeweils anhand einer vierstufigen Ratingskala (Frage 1: 1 = sehr schlecht, 2 = eher schlecht, 3 = eher gut, 4 = sehr gut; Frage 2: 1 = unwich-tig, 2 = eher unwichtig, 3 = eher wichtig, 4 = wichtig). Zur Beantwortung der Fragen wurde den Expertinnen und Experten eine Rahmen- und Testkonzeption von TILT vorgelegt, die weitgehend der Darstellung in der vorliegenden Arbeit, jedoch in ausführlicherer Form entspricht.

b. Für die Überprüfung der Kriteriumsvalidität wurden computerbezogene Schüler-merkmale herangezogen. Im Sinne der konvergenten Validität sollten computerbe-zogene Selbstwirksamkeitserwartungen, zweckorientierte Nutzungsmotivationen (perceived usefulness; Liaw 2002) und eine regelmäßige Computernutzung gemäß der funktionalen Literacy-Konzeption positiv mit den Kompetenzwerten korrelie-ren. Da Jugendliche Computer und Internet vorwiegend freizeitbezogen nutzen (z. B. Kommunikation, Unterhaltung; Medienpädagogischer Forschungsverbund Südwest 2011) und diese Tätigkeiten für den Erwerb funktionaler ICT Literacy ohne Relevanz sein sollten, wurden für unterhaltungsbezogene Nutzungsmotiva-tionen (perceived enjoyment; Liaw 2002), die zeitliche Nutzungsintensität und die Computererfahrung keine signifikanten Zusammenhänge mit den Kompetenzwer-ten erwartet.

4. Im Hinblick auf die Konstruktvalidität wurde untersucht, ob sich ICT Literacy als eine von verwandten Konstrukten abgrenzbare new literacy (Leu et al. 2004) oder als eine Linearkombination etablierter Konstrukte darstellen lässt (Jangle fallacy; Wil-helm 2009). Hierfür wurde in einem ersten Schritt das Zusammenspiel mit allgemei-nen kognitiven Fähigkeiten anhand konfirmatorischer Faktorenmodelle untersucht. Zusätzlich wurde regressionsanalytisch untersucht, in welchem Umfang die berück-sichtigten Merkmale der Computervertrautheit inkrementell (d. h. über allgemeine kognitive Fähigkeiten hinaus) Varianz der Testwerte aufklären können. Erwartet wurde, dass beide Prädiktoren zwar signifikante Beiträge zur Varianzaufklärung leis-ten, die Kompetenzwerte aber nicht vollständig (im Sinne einer Linearkombination) aufklären können.

5 Methode

Die empirische Grundlage für die Beantwortung der Forschungsfragen bildeten zwei Untersuchungen. Die erste Studie, die Pilotierungsstudie, umfasste eine Vorform des TILT und diente der Beurteilung und Selektion von geeigneten Testitems für die Testend-form. Hierbei wurden zusätzlich die Angaben der Expertinnen und Experten zur Inhalts-validität der Testaufgaben berücksichtigt sowie eine Gleichverteilung der Items über die Prozesskomponenten und Programmanwendungen angestrebt. Die zweite Studie, die Validierungsstichprobe, mit der Testendform diente zur Überprüfung der dargestellten Fragestellungen.


5.1 Stichprobe 1 (Pilotierungsstichprobe)

Die Stichprobe umfasste N = 308 Schülerinnen und Schülern der Klassenstufe 9 (51,0 % waren Mädchen, 49,0 % waren Jungen) aus vier Bundesländern (Bayern, Hamburg, Nord-rhein-Westfalen, Thüringen). Die Datenerhebung erfolgte im Rahmen einer Pilotierungs-studie des Nationalen Bildungspanels. Die Schülerinnen und Schüler waren im Mittel 14,79 Jahre (SD = 0,71) alt. Von diesen besuchten 38,3 % das Gymnasium, 61,7 % besuch-ten eine andere Schulart. Der in der Pilotierungsstudie eingesetzte Itempool umfasste 80 Testaufgaben im Multiple-Choice-Format.

5.2 Stichprobe 2 (Validierungsstichprobe)

Die endgültige Form des TILT mit 36 Testitems wurde einer zweiten Stichprobe (Validie-rungssstudie) von N = 263 Schülerinnen und Schülern (45,6 % waren Mädchen, 54,4 % waren Jungen) der 9. und 10. Klassenstufe (Klasse 9: 46,8 %, Klasse 10: 53,2 %) in all-gemeinbildenden Schulen Schleswig-Holsteins vorgelegt. Das mittlere Alter dieser Stich-probe betrug 15,24 Jahre (SD = 0,99). Von diesen Jugendlichen besuchten 51,0 % das Gymnasium, 49,0 % besuchten eine andere Schulart.

5.3 Instrumente

Technologischer und informationsbezogener Literacy-Test (TILT). Die Verteilung der Testitems hinsichtlich der prozessbezogenen und inhaltsbezogenen Kompetenzen ist in Tab. 1 für die Testendform dargestellt. Die angestrebte Gleichverteilung der Aufgaben konnte nahezu optimal umgesetzt werden. Zu beachten ist, dass nicht für alle Zellen-kombinationen Testitems entwickelt wurden, da sich einige Prozesskomponenten (z. B. Kommunizieren) nur mit bestimmten Programmanwendungen sinnvoll kreuzen lassen (z. B. mit E-Mail/Kommunikation, aber nicht mit Betriebssystem/Textverarbeitung).

Die nachfolgend beschriebenen Instrumente wurden in der Validierungsstudie eingesetzt.

Tab. 1: Verteilung der Testitems nach Prozesskomponenten und Programmanwendungen (Validierungsstudie)

BT T P EK S SummeAnwenden und Verstehen 4 1 2 1 8Erzeugen 4 2 2 8Suchen und Organisieren 4 4 8Bewerten 2 4 6Kommunizieren 3 2 1 6Summe 8 7 7 5 9 36BT Betriebssystem/Textverarbeitung, T Tabellen, P Präsentation, EK E-Mail/Kommunikation, S Suchmaschinen


Allgemeine kognitive Fähigkeiten. Hier wurde der Untertest Verbale Analogien aus dem Kognitiven Fähigkeitstest für 4. bis 12. Klasse, Revision (KFT 4–12 + R; Heller und Perleth 2000) eingesetzt.

Computererfahrung. Die Computererfahrung wurde anhand einer vierstufigen Rating-Skala erhoben (von seit weniger als einem Jahr bis mehr als 4 Jahre).

Computernutzungshäufigkeit. Hinsichtlich der im Test verwendeten Programme (z. B. Textverarbeitung, Tabellenkalkulation, Präsentation, E-Mail, Suchmaschinen, Internet-browser, Zeichenprogramme) wurde die Nutzungshäufigkeit mittels sechsstufiger Rating-Skalen erfasst (von nie bis (fast) jeden Tag).

Computerbezogene Selbstwirksamkeitserwartung. Zur Erfassung dieses Merkmals wurden 20 Items selbst konstruiert, um eine optimale Passung zu den Testitems herzustel-len (Beispielitem: „Ich finde mit einer Suchmaschine die Informationen, die ich suche“; vgl. Abb. 3). Die Abfrage erfolgte anhand einer elfstufigen Ratingskala, welche den Grad der Sicherheit angibt, mit der die jeweilige Anforderung beherrscht wird (von kann ich nicht bis absolut sicher).

Nutzungsmotivationen der Computernutzung. In Anlehnung an das Technology Acceptance Model (Liaw 2002) wurden unterhaltungsbezogene (perceived enjoyment) und zweckorientierte (perceived usefulness) Nutzungsmotivationen berücksichtigt. Auf der Grundlage von Gratifikationskatalogen der Mediennutzung (z. B. Schweiger 2007) wurden soziale Bedürfnisse (z. B. soziale Kontakte zu Freunden) als unterhaltungsbezo-gene und kognitive Bedürfnisse (z. B. zur Informationssuche, zum Lernen) als zweck-orientierte Nutzungsmotivation ausgewählt. Zu jeder Nutzungsmotivation wurden sechs Items im vierstufigen Ratingskalenformat (von nicht wichtig bis wichtig) entwickelt, welche die Wichtigkeit der jeweiligen Motivation bei der Nutzung von Computer und Internet erfassten (Beispielitem kognitive Bedürfnisse: „Ich nutze Computer und Inter-net, um Informationen zu einem bestimmten Thema zu suchen“; Beispielitem soziale Bedürfnisse: „Ich nutze Computer und Internet, damit ich über das Internet neue Leute kennenlernen kann“).

Nutzungsintensität von Computer und Internet. Es wurden Angaben der Jugendli-chen über die durchschnittliche tägliche Nutzungsdauer erbeten, und zwar differenziert nach wochentags (Montag bis Freitag) und Wochenende (Sonnabend und Sonntag) sowie nach Computer und Internet. Diese beiden Merkmale wurden nur in der Pilotierungs-studie erfasst.

5.4 Statistisches Vorgehen

Für die Skalierung der Daten und die Überprüfung der psychometrischen Qualität der Testitems und der Dimensionsstruktur wurde das Multidimensional Random Coefficient Multinominal Logit Model (Adams und Wu 2007) verwendet. Die 1PL-Raschanalyse sowie die mehrdimensionalen IRT-Modelle wurden mit der Software ConQuest (Wu


et al. 2007) berechnet. Der Vergleich des 1PL-Modells mit dem 2PL-Modell erfolgte mit der Software mdltm (von Davier 2005). Als Personenparameterschätzer wurden Weighted Likelihood Estimates (WLEs) berechnet. Fehlende Werte bei den Testitems wurden als Falschantworten gewertet. Die Reliabilitäten wurden auf der Basis der WLE-Schätzer ermittelt (WLE-Reliabilität). Als Indikatoren der Modellgüte wurden Akaikes Informa-tion Criterion (AIC), Bayes Information Criterion (BIC) und Consistent AIC (CAIC) her-angezogen (Rost 2004). Die Analysen zur Validität (latente Korrelationen, Regression) erfolgten mit der Software Mplus (Muthen und Muthen 2009). Deskriptive Kennwerte der Items und Skalen (Mittelwerte, Standardabweichungen, KTT-basierte Reliabilitä-ten nach Cronbachs α) wurden mit dem Softwarepaket SPSS (Statistical Package for the Social Sciences) ermittelt. Die Überprüfung der analytischen Abgrenzung des ICT Literacy-Tests von allgemeinen kognitiven Fähigkeiten wurde anhand konfirmatorischer Faktorenanalysen mit der Software Mplus berechnet. Dazu wurden zwei Indikatoren (Testhälften) pro latenter Variable verwendet. Zum Modellvergleich wurden gebräuch-liche Fitstatistiken verwendet (RMSEA, CFI, TLI).

6 Ergebnisse

Zunächst werden die Ergebnisse der Pilotierungsstudie, anschließend die Ergebnisse der Validierungsstudie mit der Untersuchung der Fragestellungen berichtet.

6.1 Pilotierungsstudie

Die Skalenwerte und zusammenfassenden Itemkennwerte des TILT sind in Tab. 2 dar-gestellt. Für die Überprüfung, wie gut die Items den Annahmen des 1PL-Modell nach Rasch entsprechen, wurden die gewichteten Abweichungsquadrate (WMNSQ; weighted mean squares) als Item-Fitstatistik herangezogen. Als hinreichend guter Itemfit gelten Infit-Werte zwischen 0,85 und 1,15. Da Werte kleiner als 0,85 (Overfit) auf sehr hohe Trennschärfen hinweisen und als unproblematisch gelten, sind nach Wilson (2005) Items zu entfernen, die sowohl einen Underfit (Infit-Wert > 1,2) aufweisen als auch signifikant vom Erwartungswert abweichen (t-Werte > 2). Die Items der Pilotierungsstudie zeigten eine gute Passung mit dem Rasch-Modell. Die WMNSQ liegen in einem Bereich von 0,81 bis 1,21 (M = 1,00, SD = 0,09) und waren mit t-Werten im Bereich von − 4,6 bis 4,7 (M = − 0,15, SD = 1,90) assoziiert. Gemäß dem erwähnten Kriterium erwiesen sich ins-gesamt nur vier Items als problematisch. Die WLE-Reliabilität von 0,90 wies bei Item-

Tab. 2: Skalenkennwerte und Item-Fitstatistiken in der Pilotierungsstudie (P) und Validierungs-studie (V)

Items Mp Varp Sch Kurt Rel (wle) Mdn rit M WMNSQICT Literacy (P) 80 0,50 0,62 − 0,04 − 0,79 0,90 0,35 1,00ICT Literacy (V) 36 0,52 0,98 − 0,41 − 0,74 0,87 0,44 1,00Mp Mittlere Itemschwierigkeit, Varp Varianz der Itemparameter, Sch Schiefe, Kurt Kurtosis, Rel (wle) WLE-Reliabilität, Mdn rit Median der Itemtrennschärfen, M WSNSQ mittleres Abweichungsquadrat


trennschärfen zwischen 0,08 und 0,60 (Mdn rit = 0,35) auf eine hohe Zuverlässigkeit der Messung hin. Die Itemschwierigkeiten lagen im mittleren Bereich und verteilten sich gut über den Fähigkeitsbereich der Pilotierungsstichprobe.

6.2 Skalierbarkeit, Dimensionalität und Inhaltsvalidität von TILT

Erwartungsgemäß zeigte sich für die 36 Items der Validierungsstichprobe eine verbes-serte Passung mit dem Rasch-Modell. Die WMNSQ lagen alle im akzeptablen Bereich von 0,85 bis 1,16 (M = 1,00, SD = 0,09) mit assoziierten t-Werten von − 2,6 bis 3,1 (M = − 0,04, SD = 1,55). Die WLE-Reliabilität war mit 0,87 bei Itemtrennschärfen zwi-schen 0,29 und 0,61 (Mdn rit = 0,44) zufriedenstellend und nur unbedeutend geringer als in der Pilotierungsstichprobe. Wiederum ergab sich eine gute Passung zwischen Item-schwierigkeiten und Personenparametern. Die Itemparameter variierten zwischen + 2,0 und − 2,0 logits, die Personenparameter lagen im Bereich zwischen + 3,0 und − 3,0 logits. Die Einschätzungen der Inhaltsvalidität, die von nationalen Experten und Expertinnen1 aus dem Bereich der ICT Literacy vorgenommen wurden, wiesen bei Mittelwerten von 3,30 (Frage 1: Konstruktrelevanz der für die Aufgabenlösung benötigten Fähigkeiten) und 3,62 (Frage 2: Bedeutung der Fähigkeiten für das Ausbildungs- und Berufsleben) auf inhaltlich gültige Testaufgaben hin (vgl. Tab. 3). Dabei zeigte sich, dass die Aufga-ben zur technologischen Kompetenz das intendierte Konstrukt im Mittel etwas genauer erfassen als die Items zur informationsbezogenen Kompetenz. Im Gegensatz dazu wurde die prognostische Bedeutung der technologischen und informationsbezogenen Aufga-ben gleich hoch bewertet. Nur für zwei Prozesskomponenten (Suchen und Organisieren, Kommunizieren) lag die Einschätzung der Inhaltsvalidität knapp unterhalb eher gut. Die vergleichsweise hohen Standardabweichungen zeigen, dass die Aufgaben dieser beiden Prozesse wesentlich heterogener bewertet wurden als die anderen Prozesse. Insgesamt wiesen die weitgehend homogenen (mit den genannten Ausnahmen) und durchgehend positiven Einschätzungen über alle Prozesskomponenten und Programmanwendungen auf die Tragfähigkeit der Rahmenkonzeption hin.

Die Ergebnisse der Dimensionalitätsanalysen anhand verschiedener Güteindizes sind in Tab. 4 wiedergegeben. Für den Vergleich wurden die Informationskriterien AIC, BIC und CAIC herangezogen. Gemäß der Güteindizes BIC und CAIC ergab sich für das ein-dimensionale Rasch-Modell die beste Modellanpassung. Nur hinsichtlich des AIC wies das Modell mit fünf inhaltsbezogenen Dimensionen eine geringfügig bessere Passung auf. Da der BIC die Anzahl der geschätzten Parameter berücksichtigt und damit eine Überparametrisierung des Modells verhindert, wird diesem Index die größte Bedeutung beigemessen (Rost 2004). Da zudem die Interkorrelationen der Subdimensionen sehr hoch ausfielen (zwischen 0,81 und 0,96; Mdnr = 0,92), wurde die Annahme der Eindi-mensionalität des TILT beibehalten. Zusätzlich wurde das 1PL-Modell nach Rasch mit einem eindimensionalen 2PL-Modell verglichen. Da für das 2PL-Modell mit Ausnahme des AIC deutlich schlechtere Güteindizes resultieren (AIC: 10985; BIC: 11285; CAIC: 11369), wurde für die weiteren Analysen das 1PL-Modell verwendet.


6.3 Kriteriale Validität von TILT

In Tab. 5 sind die deskriptiven Kennwerte und latenten Korrelationen sowohl für die Testinstrumente als auch für die Validierungsvariablen angegeben. Bis auf die schwach ausreichende interne Konsistenz der Skala Computer-Nutzungshäufigkeit fallen alle Reliabilitätsmaße (berechnet über Cronbachs α) befriedigend bis gut aus. Erwartungs-gemäß korrelierten ICT Literacy und allgemeine kognitive Fähigkeiten substanziell miteinander (manifest: r = 0,53). Weiterhin zeigt Tab. 5, dass die Testwerte des TILT im Sinne der konvergenten Validität die erwarteten moderaten bis substanziellen Zusammen-hänge mit der computerbezogenen Selbstwirksamkeit, der zweckorientierten Nutzungs-

Tab. 4: Güteindizes für konkurrierende Modelle zur Beschreibung der ICT Literacy (Validierungsstudie)

AIC BIC CAICRaschmodell 11.046 11.178 11.2152 prozessbezogene Dimensionen (Informationsbezoge-ne vs. Technologische Kompetenz

11.049 11.188 11.227

2 inhaltsbezogene Dimensionen (Desktop- vs. Internetanwendungen)

11.047 11.187 11.226

5 prozessbezogene Dimensionen (Prozesskomponenten) 11.067 11.249 11.3005 inhaltsbezogene Dimensionen (Programme) 11.034 11.216 11.267

Tab. 3: Einschätzungen der Testaufgaben (Mittelwerte, Standardabweichungen) hinsichtlich ihrer inhaltlichen Validität (Validierungsstudie)

Inhaltsvalidität Bedeutung für Ausbildung/BerufM (SD) M (SD)

Prozessbezogene FacetteTechnologische Kompetenz 3,49 (0,36) 3,60 (0,22)Informationsbezogene Kompetenz 3,13 (0,37) 3,64 (0,20)Inhaltsbezogene FacetteDesktop-Anwendungen 3,27 (0,44) 3,51 (0,25)Internet-Anwendungen 3,31 (0,20) 3,75 (0,16)ProzesseAnwenden und Verstehen 3,36 (0,40) 3,56 (0,38)Erzeugen 3,62 (0,36) 3,63 (0,35)Suchen und Organisieren 2,71 (0,90) 3,64 (0,29)Bewerten 3,50 (0,35) 3,72 (0,25)Kommunizieren 2,94 (0,62) 3,58 (0,28)InhaltsbereicheBetriebssystem/Textverarbeitung 3,52 (0,34) 3,59 (0,27)Tabellenkalkulation 3,02 (0,86) 3,48 (0,67)Präsentation 3,17 (0,56) 3,41 (0,40)E-Mail/Kommunikation 3,40 (0,39) 3,83 (0,21)Internet/Suchmaschinen 3,21 (0,32) 3,69 (0,29)Gesamt 3,30 (0,31) 3,62 (0,18)


motivation und der Computernutzungshäufigkeit (testrelevante Programmanwendungen) aufwiesen. Die vergleichsweise hohe Korrelation mit der zweckorientierten Nutzungs-motivation (Informationssuche, schulbezogene Nutzungszwecke) kann dabei als unter-stützender Beleg für die an funktionalen Literacy-Aspekten orientierte Testkonzeption gelten. Bezüglich der diskriminanten Validität ergaben sich ebenso erwartungskonform keine signifikanten Zusammenhänge mit der Computererfahrung und der wöchentlichen Nutzungsdauer von Computer und Internet. Für die unterhaltungsbezogene Nutzungs-motivation zeigte sich sogar eine signifikante negative Korrelation, die mit r = −0,21 jedoch gering ausfiel. Auch dieses Ergebnis kann als stützender Befund des funktionalen Literacy-Konzepts des TILT gelten.

6.4 Ergebnisse zum Zusammenspiel von TILT mit allgemeinen kognitiven Fähigkeiten

Anhand von konfirmatorischen Faktorenmodellen wurde überprüft, ob ICT Literacy und allgemeine kognitive Fähigkeiten (hier erfasst über die KFT-Subskala Verbales Schluss-

Tab. 5: Kennwerte und Korrelationen der in der Validierungsstichprobe eingesetzten InstrumenteAnzahl Items

M SD Rel (α) Latente Korrelation1 2 3 4 5 6

1 ICT Literacy 36 0,00 1,11 0,882 Allgemeine

kognitive Fähigkeiten

20 0,00 1,14 0,76 0,69***

3 Computer-Nutzungshäu-figkeit

7 3,74 0,63 0,63 0,27*** 0,15

4 Computerbe-zogene Selbst-wirksamkeit

20 8,00 1,77 0,94 0,31*** 0,13 0,58***

5 Zweck-orientierte Nutzungsmoti-vation

6 3,21 0,60 0,72 0,44*** 0,27** 0,60*** 0,49***

6 PC-Erfahrung (in Jahren)

1 4,66 1,25 – – 0,01 – 0,09 0,40*** 0,21*** 0,08

7 Unterhaltungs-bezogene Nutzungsmoti-vation

6 2,24 0,69 0,81 − 0,21** − 0,34*** 0,42*** 0,26*** 0,19 0,04

8 Internetnut-zung (Stunden pro Woche)a

2 13,03 10,68 0,84 − 0,08

9 Computernut-zung (Stunden pro Woche)a

2 7,69 9,69 0,83 − 0,12*

aLatente Korrelation wurde auf Grundlage der Pilotierungsstichprobe berechnet*p < 0,05; **p < 0,01; ***p < 0,001


folgern) distinkte Faktoren darstellen. Hierfür wurden drei Modelle gegenüber gestellt (Abb. 4): a) ein eindimensionales Modell mit einem generellen Faktor, b) ein Modell mit zwei korrelierten Faktoren, in dem für die Indikatoren der ICT Literacy Ladungen auf dem ersten Faktor und für die Indikatoren des verbalen Schlussfolgerns Ladungen auf dem zweiten Faktor geschätzt wurden, sowie c) ein Nested-Faktormodell mit zwei unkor-relierten Faktoren, das neben der bereichsspezifischen ICT Literacy eine hierarchisch übergeordnete Dimension eines generellen Faktors berücksichtigt. Bei diesem Modell laden alle Indikatoren auf dem ersten Faktor (genereller Faktor) und die Indikatoren der ICT Literacy-Items auf dem zweiten Faktor. Da die Annahme des Raschmodells bestätigt werden konnte und das Raschmodell gleiche Ladungen der Testhälften auf den latenten Variablen impliziert, wurden alle Ladungen der Indikatoren auf 1 fixiert und die Varian-zen der latenten Variablen frei geschätzt.

In den Modellvergleichen (Tab. 6) zeigte sich, dass das Zwei-Faktormodell mit zwei korrelierten, aber analytisch trennbaren Dimensionen bezüglich aller verwendeten Güte-kriterien den beiden anderen Modellen überlegen war und das generelle-Faktor-Modell die deutlich schlechtesten Fitmaße aller verglichenen Modelle aufwies. Ein Modellver-gleich zwischen Modell 1 und 2 mittels Wald-Test zeigte ebenfalls die Überlegenheit von Modell 2 (χ2 = 45,94, df = 1, p < 0,001). Die beobachteten Testwerte der ICT Literacy las-sen sich damit nicht durch einen generellen Faktor aufklären, sondern stellen ein eigen-ständiges, wenn auch mit verbalem Schlussfolgern korreliertes Konstrukt dar.

Abschließend wurde regressionsanalytisch untersucht, ob die berücksichtigten Merk-male der Computervertrautheit bei der Vorhersage von ICT Literacy inkrementelle Vali-dität aufweisen. In einem ersten Modell mit der KFT-Subskala Verbale Analogien als einzigem Prädiktor (β = 0,69) konnten 47,1 % der Testwertevarianz aufgeklärt werden. Im zweiten Modell wurden zusätzlich die signifikant mit ICT Literacy korrelierenden

Abb. 4: Faktorenanalytische Modelle zur Erklärung der ICT Literacy-Testwerte (beide latenten Variablen wurden jeweils über zwei Testhälften operationalisiert)


computerbezogenen Merkmale (siehe Tab. 5) als Prädiktoren aufgenommen. Dadurch verringerte sich das Regressionsgewicht für die KFT-Subskala geringfügig (β = 0,57) und für die zweckorientierten Nutzungsmotivationen (β = 0,23) und die computerbezogene Selbstwirksamkeit (β = 0,14) wurden signifikante Regressionsgewichte ermittelt. Die Varianzaufklärung aller Prädiktoren betrug 56,3 %, der durch die Computermerkmale zusätzlich aufgeklärte Anteil lag also bei 9,2 %.

7 Diskussion

In diesem Artikel haben wir TILT, einen Test zur Erfassung technologischer und informa-tionsbezogener Literacy, für Jugendliche am Ende der Pflichtschulzeit vorgestellt. Wäh-rend bisherige (Papier-und-Bleistift)-Tests vornehmlich technologische Kompetenzen im Umgang mit dem Computer erfassen, war unser Ziel, einen Test zu entwickeln, der zusätzlich informationsbezogene Kompetenzen misst. Die Erfassung informationsbezo-gener Kompetenzen ist besonders wichtig, da Computer und Internet ein bildungsrele-vantes Werkzeug darstellen, mit dem Informationen ermittelt, kritisch ausgewählt und hinsichtlich spezifischer Zielsetzungen verarbeitet und aufbereitet werden. Rein techno-logische Fähigkeiten sind demnach als Voraussetzung für eine kompetente informations-bezogene Nutzung digitaler Medien zu betrachten. Ein weiteres Ziel war, ein Instrument mit möglichst hoher Testökonomie und flexiblen Einsatzmöglichkeiten (z. B. nicht PC-gestützte Darbietung, geringe Bearbeitungszeit) zu entwickeln.

Die Analysen der psychometrischen Qualität von TILT belegten zufriedenstellende Item- und Skalenkennwerte sowie eine gute Passung von Itemschwierigkeiten und Per-sonenfähigkeiten. Trotz der vergleichsweise breiten Konzeptualisierung des Konstrukts (Unterscheidung von technologischen und informationsbezogenen Prozesskomponenten bzw. inhaltsbezogenen Desktop- und Internetanwendungen) konnte die angenommene Eindimensionalität des Konstrukts bestätigt werden. Dies kann als Hinweis darauf gelten, dass ICT Literacy als Zusammenwirken von technologischen und informationsbezoge-nen Kompetenzen verstanden werden kann (Markauskaite 2007).

Darüber hinaus wurden Belege angeführt, dass ICT Literacy ein eigenständiges Konstrukt (im Sinne einer new literacy) darstellt. Zum Ersten waren die beobachteten Testwerte faktoriell von allgemeinen kognitiven Fähigkeiten abzugrenzen. Die ermit-telte latente Korrelation von r = 0,69 mit allgemeinen kognitiven Fähigkeiten fiel dabei ähnlich hoch aus wie für andere fachspezifische Kompetenzen (Baumert et al. 2007). Zum Zweiten ließ sich ICT Literacy nicht als Linearkombination von in dieser Studie berücksichtigten Variablen (allgemeinen kognitiven Fähigkeiten und computerbezogene

Tab. 6: Güteindizes für konkurrierende Modelle zur Beschreibung des Zusammenspiels von ICT Literacy und allgemeinen kognitiven FähigkeitenModell χ2 df p RMSEA CFI TLIModell 1: genereller-Faktor-Modell 211,09 5 < 0,001 0,40 0,60 0,52Modell 2: zwei korrelierte Faktoren (ICT und verbales Schlussfolgern)

7,15 3 0,07 0,07 0,99 0,98

Modell 3: Nested-Faktormodell 24,01 4 < 0,001 0,14 0,96 0,94


Schülermerkmale) darstellen. Zwar konnte für die computerbezogenen Merkmale (z. B. Selbstwirksamkeitserwartung, Nutzungshäufigkeit, zweckorientierte Nutzungsmotiva-tionen) deren inkrementelle Validität gezeigt werden, die Varianzaufklärung von insge-samt 57 % stützt die Annahme einer Linearkombination jedoch nicht. Kritisch ist hierbei anzumerken, dass der in dieser Arbeit eingesetzte Subtest des KFT (Verbale Analogien) streng genommen keinen ausreichenden Indikator für allgemeine kognitive Fähigkeiten darstellt. In zukünftigen Arbeiten sind daher diese Befunde unter Berücksichtigung wei-terer Indikatoren (z. B. Aufgaben zum schlussfolgernden Denken mit numerischem und figuralem Inhalt) zu bestätigen.

Darüber hinaus zeigten die Analysen der Zusammenhänge von ICT Literacy mit Merkmalen der Computervertrautheit, dass sowohl die diskriminante als auch die kon-vergente Validität in zufriedenstellendem Maß vorlagen. Insbesondere der konvergente Zusammenhang mit einer zweckorientierten Nutzungsmotivation sowie der diskrimi-nante Zusammenhang mit einer unterhaltungsbezogenen Nutzungsmotivation weisen auf eine gelungene Testkonstruktion im Sinne einer funktionalen Literacy-Konzeption hin. Entsprechend dieser Konzeption ergaben sich hingegen mit globalen Maßen der Com-puternutzung (Nutzungsintensität von Computer und Internet, Computererfahrung) vor dem Hintergrund einer vorwiegend freizeitbezogenen Computernutzung der untersuchten Zielgruppe keine signifikanten Korrelationen. Ergänzend weisen die Expertenratings auf eine ausreichende inhaltliche Validität der konstruierten Testaufgaben hin. Dass die Test- items zur technologischen Kompetenz das intendierte Konstrukt im Mittel etwas genauer erfassen als die Aufgaben zur informationsbezogenen Kompetenz, deutet darauf hin, dass komplexere Anforderungen (Prozesskomponente Suchen und Organisieren) anhand von Papier-und-Bleistift-Aufgaben im Multiple-Choice-Format nicht optimal operatio-nalisiert werden können. Demgegenüber wurde die prognostische Bedeutung sowohl der technologischen als auch der informationsbezogenen Aufgaben als sehr hoch ein-geschätzt (insbesondere die Prozesskomponente Bewerten). Diese Einschätzung spiegelt die Perspektive zahlreicher Frameworks – im Sinne eines funktionalen Literacy-Kons-trukts – wider, nach der vor allem ein ziel- und problemorientierter Umgang mit digitalen Medien eine erfolgreiche Teilhabe an der Gesellschaft ermöglicht (z. B. ETS 2002). Diese Bewertung unterstreicht die Notwendigkeit, neben technologischen Fertigkeiten infor-mationsbezogene Kompetenzen zu berücksichtigen. Insgesamt scheint mit dem TILT damit einerseits ein Instrument vorzuliegen, mit dem ICT Literacy in ökonomischer und reliabler Weise erfasst werden kann, andererseits muss einschränkend angemerkt wer-den, dass zentrale Fragen der Validität noch unbeantwortet sind. Im Folgenden werden daher Limitationen dieser Studie und des Testformats sowie geplante Forschungsvor-haben adressiert.

Es wurde bereits erwähnt, dass Papier-und-Bleistift-Tests – im Gegensatz zu com-puterbasierten Performanztests – nur bestimmte Konstruktbereiche der ICT Literacy abdecken können. Durch die Vorgabe statischer Items (z. B. mit Hilfe von Screenshots) können deklarative und prozedurale Wissensbestände erhoben werden, die ein erfolg-reiches Handeln wahrscheinlich machen, jedoch nicht die Performanz selbst. Ebenso kann das strategische Wissen, welches für die Bearbeitung komplexerer Aufgaben mit mehreren Handlungsschritten benötigt wird, bestenfalls ansatzweise erfasst werden. Ent-sprechend soll in einer Folgestudie geprüft werden, inwieweit ein Papier-und-Bleistift-


Test computerbezogene Kompetenzen mit ähnlicher Genauigkeit und Gültigkeit erfasst wie ein performanzbasierter Test am Computer. Vorgesehen ist hierfür, parallele Testi-tems (bzw. Aufgabenstellungen) des hier vorgestellten Instruments als computerbasierte Performanzitems vorzugeben. Für eine möglichst authentische Testumgebung soll die Aufgabenbearbeitung nicht anhand simulierter Anwendungen, sondern anhand realer Anwendungsprogramme stattfinden. Außerdem sind weiterführende Analysen durchzu-führen, welche die Eigenständigkeit der Konstrukts ICT Literacy im Sinne einer new lite-racy genauer überprüfen. Da beispielsweise Leseverständnis und Problemlösefähigkeiten als Voraussetzungen eines kompetenten Umgangs mit Computer und Internet gelten (ETS 2002), ist zu klären, ob sich ICT Literacy analytisch von diesen Kompetenzen abgrenzen lässt.

Danksagung: Die Entwicklung des hier vorgestellten Instruments erfolgte im Rahmen des vom Bundesministerium für Bildung und Forschung (BMBF) geförderten Projekts „Nationales Bil-dungspanel (National Educational Panel Study)“. Wir danken dem BMBF für seine Unterstützung.

Hinweis: Da die Entwicklung von TILT im Rahmen des „Nationalen Bildungspanels“ erfolgte, ist das Instrument nicht öffentlich zugänglich und daher auch nicht über die Autoren erhältlich. Jedoch kann die Nutzung des Testinstruments für nicht-kommerzielle Forschungszwecke bean-tragt werden.

Anmerkungen

1 Die folgenden Expertinnen und Experten haben eine Einschätzung der Testaufgaben des TILT hinsichtlich ihrer inhaltlichen Validität vorgenommen: Frank Fischer, Frank Goldhammer, Matthias Nückles, Tobias Richter, Heike Schaumburg und Katharina Scheiter.

Literatur

Adams, R. J., & Wu, M. (2007). The mixed-coefficients multinomial logit model. In M. von Davier & C. H. Carstensen (Hrsg.), Multivariate and mixture distribution Rasch models – extensions and applications (S. 57–75). New York: Springer.

Baumert, J., Brunner, M., Lüdtke, O., & Trautwein, U. (2007). Was messen internationale Schul-leistungsstudien? – Resultate kumulativer Wissenerwerbsprozesse. Psychologische Rund-schau, 58, 118–145.

Blossfeld, H.-P., Doll, J., & Schneider, T. (2008). Bildungsprozesse im Lebenslauf: Grundzüge der zukünftigen Bildungspanelstudie für die Bundesrepublik Deutschland. Recht der Jugend und des Bildungswesens, 3, 321–328.

Blossfeld, H.-P., Roßbach, H.-G., & von Maurice, J. (2011). Education as a lifelong process. The German National Educational Panel Study (NEPS) (14. Sonderheft der Zeitschrift für Erzie-hungswissenschaft). Wiesbaden: VS Verlag für Sozialwissenschaften.

Bradlow, E. T., Hoch, S. J., & Hutchinson, J. W. (2002). An assessment of basic computer pro-ficiency among active internet users: Test construction, calibration, antecedents, and conse- quences. Journal of Educational and Behavioral Statistics, 27, 237–253.

von Davier, M. (2005). mdltm: Software for the general diagnostic model and for estimating mix-tures of multidimensional discrete latent traits models [Computer Software]. Princeton: ETS.


ETS (2002) = Educational Testing Service. (2002). Digital transformation. A framework for ICT literacy. Princeton: ETS.

Goldhammer, F., Naumann, J., & Keßel, Y. (2013). Assessing individual differences in basic com-puter skills: Psychometric characteristics of an interactive performance measure. European Journal of Psychological Assessment. doi:10.1027/1015-5759/a000153.

Heller, K. A., & Perleth, C. (2000). Kognitiver Fähigkeitstest für 4. –12. Klassen, Revision (KFT 4–12 + R). Göttingen: Hogrefe.

Huff, K. L., & Sireci, S. G. (2001). Validity issues in computer-based testing. Educational measurement: Issues and practice, 20, 16–25.

Katz, I. R. (2007). Testing information literacy in digital environments: The ETS iskillsTM assess-ment. Information Technology and Libraries, 26, 3–12.

Klieme, E., Hartig, J., & Rauch, D. (2008). The concept of competence in educational contexts. In J. Hartig, E. Klieme & D. Leutner (Hrsg.), Assessment of competencies in educational contexts (S. 3–22). Göttingen: Hogrefe.

Kozma, R. (2009). Transforming education: Assessing and teaching 21st century skills. In F. Scheuermann & J. Björnsson (Hrsg.), The transition to computer-based assessment (S. 13–23). JRC Scientific and Technical Reports.

Kuhlemeier, H., & Hemker, B. (2007). The impact of computer use at home at home on students’ Internet skills. Computers & Education, 49, 460–480.

Leu, D. J., Kinzer, C. K., Coiro, J. L., & Cammack, D. W. (2004). Toward a theory of new literacies emerging from the internet and other information and communication technologies. In N. J. Unrau & R. B. Russell (Hrsg.), Theoretical models and processes of reading (S. 1570–1613). Newark: International Reading Association.

Liaw, S.-S. (2002). Understanding user perceptions pf world-wide web environments. Journal of Computer Assisted Learning, 18, 137–148.

Markauskaite, L. (2007). Exploring the structure of trainee teachers’ ICT literacy: The main compo-nents of, and relationships between, general cognitive and technical capabilities. Educational Technology Research and Development, 55, 547–572

Mayer, R. E. (2002). A taxonomy for computer-based assessment of problem solving. Computers in Human Behavior, 18, 623–632.

Medienpädagogischer Forschungsverbund Südwest. (2011). JIM-Studie 2011. Jugend, Informa-tion, (Multi-)Media. Stuttgart: Medienpädagogischer Forschungsverbund Südwest.

MCEETYA (2007) = Ministerial Council on Education, Employment, Training and Youth Affairs. (2007). National Assessment Program. Information and communication technology literacy 2005. Years 6 and 10. Melbourne: MCEETYA.

Muthen, L. K., & Muthen, B. O. (2009). Mplus user’s guide. Los Angeles: Muthen & Muthen.Poynton, T. A. (2005). Computer literacy across the lifespan: A review with implications for educa-

tors. Computers in Human Behavior, 21, 861–872.Richter, T., Naumann, J., & Horz, H. (2010). Eine revidierte Fassung des Inventars zur Computer-

bildung (INCOBI-R). Zeitschrift für Pädagogische Psychologie, 24, 23–37.Rost, J. (2004). Testtheorie – Testkonstruktion [Test theory – test construction]. Bern: Hans Huber.Schweiger, W. (2007). Theorien der Mediennutzung. Wiesbaden: VS Verlag für Sozialwissenschaften.Süß, H.-M. (1996). Intelligenz, Wissen und Problemlösen. Göttingen: Hogrefe.Walraven, A., Brand-Gruwel, S., & Boshuizen, H. P. A. (2008). Information-problem solving:

A review of problems students encounter and instructional solutions. Computers in Human Behavior, 24, 623–648.

Weinert, S., Artelt, C., Prenzel, M., Senkbeil, M., Ehmke, T., & Carstensen, C. H. (2011). Develop-ment of competencies across the life span. Zeitschrift für Erziehungswissenschaft, 14(2), 67–86.


Wilhelm, O. (2009). Issues in computerized ability measurement: Getting out of the jingle and jangle jungle. In F. Scheuermann & J. Björnsson (Hrsg.), The transition to computer-based assessment (S. 145–150). JRC Scientific and Technical Reports.

Wilson, M. (2005). Constructing measures: An item response modeling approach. Mahwah: Erlbaum.

Wittwer, J., & Senkbeil, M. (2008). Is students’ computer use at home related to their mathematical performance at school? Computers & Education, 50, 1558–1571.

Wu, M. L., Adams, R. J., Wilson, M. R., & Haldane, S. (2007). ACER ConQuest 2.0 – Generalised item response modeling software. Camberwell: ACER Press.

Documents

Entwicklung und erste Validierung eines Tests zur Erfassung technologischer und informationsbezogener Literacy (TILT) für Jugendliche am Ende der Sekundarstufe I; Development and