Von FIMSS und FISS bis PISA und PIRLS Eine Zwischenbilanz zu den Effekten und Perspektiven von Large Scale Assessments für die Steuerung von Schule Isabell van Ackeren Universität Duisburg-Essen AG Bildungsforschung Zürich, 8. Dezember 2010

Gliederung

(1) Blick zurück nach vorn: Ein halbes Jahrhundert internationale Schulleistungsstudien (2) Rezeption und Wirkung: Large Scale Assessments und der Anspruch ‚Evidenzbasierter Steuerung‘

(3) Perspektive: ‚Large Scale Change‘?

Anfänge internationaler Leistungsvergleiche 1920er Jahre: separate, idiographische Beschreibung der Bildungssysteme ausgewählter Länder (Vergleichende EW als akademische Disziplin)

1950/60er Jahre: Bewusstsein für den ‚hidden factor‘ des Humankapitals (Entwicklungspolitik) 1958: Gründung der IEA durch akademische Institutionen (Bloom, Thorndike u.a.) – Messung von Kenntnissen und Fertigkeiten von Schüler/innen – Identifizierung relevanter Einflussgrößen auf Lernerträge (nomothetischer Anspruch) – Variation zwischen Ländern (Steuerungs- und Handlungspraxis): Erkenntnisgewinn für bildungspolitische Reformen und Entwicklungsprozesse (melioristisches Erkenntnisinteresse)

60/70er Jahre: Paradigmenwechsel hin zur Erfassung des Lernertrags von Schule (Systemmonitoring, Benchmarking)

Pilot Twelve-Country Study 1959-62 (Foshay et al., 1962)

Anlage

Erkenntnisse

•

Machbarkeitsstudie zur Realisierung internationaler Schulleistungsvergleiche

•

Höhere Variabilität innerhalb der Teilnehmerstaaten als zwischen den Ländern

•

Sekundarstufe I

•

•

Lesen, Mathematik, Naturwissenschaften, Geographie, non-verbale Fähigkeiten

Länderunterschiede rechtfertigten jedoch die Durchführung von Leistungsstudien

•

Vergleichsweise höhere Streuung in Geographie und Mathematik

•

Herausarbeitung fachspezifischer Geschlechterdifferenzen

•

Teilnehmerstaaten: Belgien, (West-)Deutschland, England, Finnland, Frankreich, Israel, Jugoslawien, Polen, Schottland, Schweden, Schweiz, USA

FIMS: First International Mathematics Study 1963/64 (Husén, 1967; Postlethwaite, 1967)

• Prinzip der Testung an strategisch bedeutsamen Punkten der Schullaufbahn – gegen Ende der Pflichtschulzeit – gegen Ende der voruniversitären Ausbildung

• Ergänzung durch Hintergrundbefragungen von Schüler/innen, Lehrkräften und Schulleitungen • 12 Länder, 133.000 Jugendliche – Australien, Belgien, (West-)Deutschland, England, Finnland, Frankreich, Israel, Japan, Niederlande, Schottland, Schweden, USA

• Fachbezug Mathematik – als ein Index der Produktivität eines Systems – methodisch einfacher für umfangreiche erste Erhebung dieser Art – „movement of reconstruction of mathematical education“ (Husén, 1967)

FIMS und FISS: Ausgewählte Befunde und Rezeption aus deutscher Sicht

• „nonmath-students“ (Grundbildung): Spitzenposition – Problem Vergleichbarkeit: Verbindlichkeit von Mathematik als Abiturfach  Strukturelle Unterschiede in der Unterrichtszeit und -organisation sind zu berücksichtigen

• „mathematics students“: Mittelfeld – andere, leistungsstärkere Länder mit jüngerer Schülerpopulation ↔ keine Diskussion der Schulzeit bzw. durchschnittlicher Leistungen

• Chancengleichheit: starke sozio-ökonomische Selektivität – Indexwert der sozialen Selektivität im internationalen Vergleich am höchsten – keine breite Rezeption der Befunde

Six-Subject Survey (1968-73)

• erstmals Berücksichtigung der Primarstufe • Frage der Übertragbarkeit identifizierter Einflussfaktoren mathematischer Bildungsprozesse auf andere Fächer – Leseverständnis, Naturwissenschaften, Literatur, Französisch und Englisch als Fremdsprachen, Civic Education

• Herausarbeitung neuer Prädiktoren schulischer Leistung – u.a. Interessens-, Motivations- und Einstellungsvariablen sowie Lehrmethoden vgl. http://www.iea.nl/ sowie Goy, van Ackeren & Schwippert, 2008

Leistungsstudien in den 1970er und 80er Jahren • Zurückhaltung / keine Beteiligung deutschsprachiger Länder bis in die 1990er Jahre – Ausnahme: Classroom Environment Study (CES), 1981 und 1983 (Weinert & Helmke)

• eher geisteswissenschaftliche Tradition deutscher Pädagogik (vgl. Bos & Postlethwaite, 2001) • Schulsystem galt zudem lange als vorbildlich ↔ Konsequente Beteiligung an Untersuchungen: z.B. Belgien, England, Frankreich, Finnland, Neuseeland, Niederlande, Schottland, Schweden, USA • TIMSS-Schock als Auslöser einer systematischen und breiten empirischen Schulleistungsforschung • Rückblickende Wahrnehmung der Befunde der International Reading Literacy Study (IRLS)

Blick nach vorn: Perspektiven – Desiderate • Längsschnittliche Anlage von Forschungsprogrammen zur Einlösung des Erklärungsanspruchs

• Defizitäre Informationen über domänen- und institutionsspezifische Bildungsprozesse auf folgende Stufen: – Tertiärer Bildungsbereich – Lebenslanges Lernens, ‚adult competencies‘

• Anschlussfähigkeit des in Bildungsinstitutionen vermittelten Wissens / Kompetenzen

• Weiterentwicklung der Schulentwicklungsforschung – Praktische Umsetzung von LSA als komplexes Forschungs- und Entwicklungsproblem: „Die eigentliche Arbeit beginnt in der Schule, den sie unterstützenden Einrichtungen und der Politik erst nach der Untersuchung“ (Baumert 2001)

Gliederung

(1) Blick zurück nach vorn: Ein halbes Jahrhundert internationale Schulleistungsstudien (2) Rezeption und Wirkung: Large Scale Assessments und der Anspruch ‚Evidenzbasierter Steuerung‘

(3) Perspektive: ‚Large Scale Change‘?

Planung (60er Jahre) • etatistisch, „technokratischer Gestaltungsoptimismus“ (Schimank, 2009) • Zeit der Implementierung von LSA und Bildungsberichtssystemen • Implementationsforschung: „How Great Expactations in Washington are Dashed in Oakland“ (Pressmann & Wildavsky, 1973) • XXX

Steuerung (80er Jahre) • Steuerungsbegriff (Mayntz, 1987); Steuerungsillusion (Luhmann, 1987) • Rutter et al., 1980: „schools do matter“ • Fend, 1987: „Schule als pädagogische Handlungseinheit“ • XXX

Governance (90er Jahre) • Antagonismus bildungspolitischer und bildungspraktischer Entscheidungen (Kussau & Brüsemeister, 2007) • Ausweitung der analysierten Akteursgruppen (Eltern, OECD, Unternehmensberatungen etc.) und Interaktionsmuster / Handlungskoordination • Nachvollziehen der Pluralisierung gesellschaftlicher Gestaltung • XXX

Governance und Evidenzbasierte Steuerung

• Governance meint – „das Zustandekommen, die Aufrechterhaltung und die Transformation sozialer Ordnung und Leistungen im Bildungswesen unter der Perspektive der Handlungskoordination zwischen verschiedenen Akteuren in komplexen Mehrebenensystemen.“

(Altricher & Maag Merki, 2010)

• Akteure aus Bildungspolitik/ -administration betreiben – „in extremer Interpretation, ihre Politik insgesamt primär empiriegestützt, erfahrungswissenschaftlich beglaubigt und wissenschaftlich fundiert [...] statt im Vertrauen auf alte Ideologien.“

(Tenorth, 2007)

Rezeption / Impact von Leistungsstudien in international vergleichender Perspektive

• Robitaille et al. (Ed.) (2000). The impact of TIMSS on teaching and learning of mathematics and science • Autorengruppe Internationale Vergleichsstudie (2003): Vertiefender Vergleich der Schulsysteme ausgewählter PISATeilnehmerstaaten • Gilmore, A. (2005): The Impact of PIRLS (2001) and TIMSS (2003) in Low- and Middle-Income Countries • Figazzolo, L.: Impact of PISA 2006 on the Education Policy Debate • Schwippert, K. (Ed.) (2007): Progress in Reading Literacy. The Impact of PIRLS 2001 in 13 Countries

Impact of PIRLS: Beteiligte Länder 2006

Belgien (FL) Deutschland England Lettland Niederlande Österreich Slowakei Ungarn

Russland Hongkong

Südafrika

kursiv: erstmals beteiligte Länder

Neuseeland

14

Ziele: Dokumentation und Information

• Dokumentation der Reaktionen / Reaktionsmuster auf Studienergebnisse seitens Politik und Administration, Wissenschaft, Schulen und Öffentlichkeit • Identifizierung direkter und/oder indirekter Konsequenzen – Veränderungen und Umstrukturierungen im nationalen Bildungssystem – Programme und Initiativen im Bildungsbereich – Wahrnehmung in der Öffentlichkeit

• Abschätzung des Potenzials für Systementwicklung – ggf. transformatorische Prozesse (2001 – 2006) – Explorativer Charakter – ggf. vertiefende Länderanalysen

Autorenperspektive

• ‚Insider‘-Perspektiven auf das nationale Bildungssystem • Unterschiedliche institutionelle und positionelle Hintergründe der Autoren zwischen den Ländern – Abteilungen des Bildungsministeriums – Unabhängige Forschungseinrichtungen – Universitäre Fachbereiche

The Analytical Framework

• A short country description • The national education system • The country’s experience in national and international large-scale assessments • National results, impact, and (expected) longterm effects of PIRLS 2001 and/or 2006 since the first publication • Expected future activities • Concluding remarks (vgl. Schwippert & Lenkeit, in Vorbereitung; Liegmann & van Ackeren, in Vorbereitung)

Teilnahme an internationalen Studien und Implementierung nationaler Vergleichsstudien

Zusammenfassung der (berichteten) Veröffentlichungsaktivitäten

Beschriebene Entwicklungsbereiche Unterrichtsqualität

PIRLS als Indikator und Motor der Revision und Modifizierung

Österreich, Hongkong, Lettland: Stärkung des Anspruchs der Förderung individueller Lernprozesse

Curriculum

Revision von Curricula: Planung bzw. Realisierung

Ungarn: Ausweitung des Leseunterrichts auf Klassen 5+6; Hongkong: Lesenlernen als Schlüsselkompetenz überrgeifend verankert

Struktur

Fokus auf vorschulische Bildung; Separation / Integration

Österreich: Obligatorisches, gebührenfreies Vorschuljahr; Lettland: Herabsetzung Einschulungsalter; Verkürzung / Verlängerung der gemeinsamen Lernzeit (Ungarn / BRD)

Lehrerbildung

Leseförderung

England, Deutschland, Hongkong; Handreichungen, Trainingsprogramme: u.a. Russland, Südafrika

Ressourcen

Finanzielle Ressourcen; elterliche Unterstützung

Hongkong: Erhöhung der Bildungsausgaben für die Primarstufe; Slovakei: zusätzliche Ressourcen für soziale benachteiligte Schüler; Südafrika: Büchergutscheine; Hongkong: Förderung elterlicher Unterstützung

Förderprogramme

Leseförderung

Hongkong: alle Schüler; England: Risikoschüler

Outputorientierung

Bildungsstandards, Vergleichsarbeiten, Schulinspektion

Österreich, Deutschland, Südafrika; Revision bestehender outputorientierter Instrumente: England, Ungarn, Neuseeland, Russland

Nutzbarmachung Evaluationsdaten (nach Johnson, 1998)

• Instrumenteller Gebrauch  direkter Anwendungsbezug

• Konzeptueller Gebrauch  auch: „enlightment“; Beeinflussung von Denkprozessen in größerem zeitlichen Abstand

• Symbolischer Gebrauch  politisches/taktisches Interesse

Ministerielle Steuerung nach PISA in ausgewählten Bundesländern: MISTEL-Studie (Tillmann, Dedering et al.) • Bildungspolitische Entscheidungsfindung erfolgt weniger rational, als es das Modell evidenzbasierter Steuerung postuliert • Sach- und Problemorientierung der Entscheidungsträger wird flankiert von politisch-taktischen Orientierungen – u.a. Verstärkung / Legitimation bereits getroffener Entscheidungen – Stärkung öffentlicher Akzeptanz – Untermauerung politischer Forderungen

• Problem der Verabeitungskapazität und -kompetenz; zwischen Expertisedefizit und Informationsvorsprung • Ministerien als Intermediär zwischen Bildungspolitik, Bildungssystem und Wissenschaftssystem: Balance zwischen unterschiedlichen Handlungslogiken

Gliederung

(1) Blick zurück nach vorn: Ein halbes Jahrhundert internationale Schulleistungsstudien (2) Rezeption und Wirkung: Large Scale Assessments und der Anspruch ‚Evidenzbasierter Steuerung‘

(3) Herausforderungen und Perspektiven: ‚Large Scale Change‘?

Herausforderungen • Empirische Forschung zu den Ansprüchen und Wirkungen neuer Steuerungsinstrumente im Anschluss an Befunde von LSA – Bildungsstandards, Vergleichsarbeiten, Schulinspektionen, Zentrale Abschlussprüfungen – Berücksichtigung transintentionaler Effekte

• Ergänzung um internationale Vergleiche – Berücksichtigung unterschiedlicher Strukturen und Steuerungsphilosophien

• Professionalisierung von Lehrkräften • Bedingungen von Transfer, etwa ausgezeichneter Schulen bei Schulwettbewerben

Projekt EviS – Evidenzbasiertes Handeln im Mehrebenensystem Schule Teilprojekt I: Lehrerbildung

Teilprojekt II: Schule

•

•

Einflussfaktoren auf die Generierung und Nutzung evidenzbasierten Wissens

•

Theoretical Sampling: Fallschulen, die sich durch geringe oder starke Evidenznutzung auszeichnen

•

Netzwerkanalyse

•

•

Genese, Voraussetzungen und Entwicklungen professionellen Umgangs von Lehrenden mit evidenzbasiertem Wissen im Kontext der mehrstufigen Lehrerausbildung

quantitative (Panel-)Befragung mit Studierenden und Referendarinnen/Referendaren (2 Wellen) ergänzt durch qualitative Befragung

• vertiefende Interviews  genauere Bestimmung der tatsächlich genutzten Evidenzen  Anlässe und Motivationen zur Nutzung der Evidenzen erfassen 26