Lernstandserhebungen in Nordrhein-Westfalen Ergebnisse und Konsequenzen für Schulen und Lehrkräfte Stand: Mai 2005 Unterrichtsentwicklung und Medieneinsatz in den Kernlehrplan-Fächern Welche Aufgabe haben die e-teams NRW? Fachtagung am 18.5.2005 im Medienzentrum Rheinland

Dobbelstein, Pallack, Peek

Erfahrungen 2004 Ablauf ¾ Kommunikation mit Schulen (Schulmails, Servermails, Hotline, FAQs,

learn:line, Moderator/innen) ¾ Bereitstellung von Materialien (ca. 2.100 Schulen, 210.000 Schüler/innen, 1,2 Millionen Aufgabenhefte, Auswertungsmanuale, Versand innerhalb von 3 Tagen; eine weitere Woche für Korrektur von Fehllieferungen und Annahmeproblemen an den Schulen) ¾ prozessbegleitende Erstellung des Datenerfassungs- und Rückmeldesystems (Lernstandsserver, Eingabe-/Ausgabeformate) ¾ insgesamt reibungsloser Ablauf in den Schulen (bewährt hat sich das „Koordinatoren-Modell“) ¾ guter Datenrücklauf: Von 25.097 wurde die Dateneingabe vollständig abgeschlossen

Erfahrungen 2004

Problemfelder ¾ Information der Fachkolleg/innen

¾ Elternrückmeldung (Volumen, Aussagekraft) ¾ Stellenwert individualbezogener Ergebnisrückmeldungen in Bezug auf die zentrale Intention (Unterrichtsentwicklung) ¾ Arbeitsbelastung in den Schulen (Auswertung, Umgang mit Ergebnissen ¾ Kritik an Einzelaufgaben und Auswertungshinweisen

Ziele ¾ Standardüberprüfung (Vergewisserung einer Schule über die eigene Wirksamkeit) ¾ Feststellung des Lern- und Förderbedarfs in den überprüften fachlichen Bereichen ¾ Stärkung der diagnostischen Kompetenz von Lehrkräften ¾ Impulse für die didaktische und methodische Weiterentwicklung des Unterrichts ¾ Unterstützung der Umsetzung der neuen Kernlehrpläne ¾ Bereitstellung von Informationen für das Systemmonitoring ¾ (perspektivisch) Identifikation von Schulen mit unbefriedigender Wirksamkeit im Hinblick auf Unterstützungsmöglichkeit

System der Standardsetzung und Standardüberprüfungen in NRW Jahrgang 1 2 3 4 (1. Halbjahr) 5 6

Lernstandsüberprüfungen

Parallelarbeiten (auf freiwilliger Basis) Zentrale Lernstandserhebungen (Vergleichsarbeiten) in Deutsch und Mathematik

Curriculare Standards

Übergangsprofil KMK-Bildungsstandards Ende 4. Jg.

Anforderungen am Ende der Jahrgangsstufe 6 in den Kerncurricula

7 (2. Halbjahr) 8

Parallelarbeiten (schulische Aufgabenstellungen) in Deutsch, Englisch und Mathematik

9 (1. Halbjahr) 10 (2. Halbjahr)

Zentrale Lernstandserhebungen) in Deutsch, Englisch, Mathematik

Anforderungen am Ende der Jahrgangsstufe 8 in den Kerncurricula

Abschlussprüfungen mit zentralen Aufgaben (ab dem Schuljahr 2006/2007)

Anforderungen am Ende der Jahrgangsstufe 10 in den Kerncurricula KMK-Bildungsstandards

System der Standardsetzung und Standardüberprüfungen in NRW Jahrgang 1 2 3 4 (1. Halbjahr) 5 6

Lernstandsüberprüfungen

Parallelarbeiten (auf freiwilliger Basis) Zentrale Lernstandserhebungen (Vergleichsarbeiten) in Deutsch und Mathematik

Curriculare Standards

Übergangsprofil KMK-Bildungsstandards Ende 4. Jg.

Anforderungen am Ende der Jahrgangsstufe 6 in den Kerncurricula

7 (2. Halbjahr) 8

Parallelarbeiten (schulische Aufgabenstellungen) in Deutsch, Englisch und Mathematik

9 (1. Halbjahr) 10 (2. Halbjahr)

Zentrale Lernstandserhebungen) in Deutsch, Englisch, Mathematik

Anforderungen am Ende der Jahrgangsstufe 8 in den Kerncurricula

Abschlussprüfungen mit zentralen Aufgaben (ab dem Schuljahr 2006/2007)

Anforderungen am Ende der Jahrgangsstufe 10 in den Kerncurricula KMK-Bildungsstandards

• Testarrangement und Testaufgaben

„Grundsatzklärungen“

versus Lernarrangements und Lernaufgaben • Bestandsaufnahme von Lernergebnissen versus Diagnose von Lernprozessen und Lernentwicklungen • Bestandsaufnahme von fachlichen Stärken und Schwächen in der Klasse / in der Schule versus Leistungsbeurteilung und Benotung der einzelnen Kinder • Rückmeldung für alle Lerngruppen und alle SchülerInnen mit Angaben von Vergleichswerten versus Systemmonitoring / Schulleistungsstudie (Systemdaten, Ländervergleiche etc.) • Feedback bezogen auf Bereiche fachlichen Lernens versus Testergebnisse als Ausweis von Schulqualität im Fokus einer Rankingdebatte

Zielsetzung: Standardüberprüfung

• Tests als Verfahren zur Selbstvergewisserung darüber, inwieweit eine Schule ihre Ziele erreicht

Hinweise auf Stärken und Schwächen der eigenen Schule im fachlichen Lernen differenziertere Wahrnehmung von Schülerleistungen in vergleichender Perspektive (bezogen auf Bezugsgruppen und Kriterien)

differenziertere Wahrnehmung von Schülerleistungen in vergleichender Perspektive

Bezugsgruppen-/ Normorientierung

Kriterienorientierung

Parallelklassen

fachliche und fachdidaktische Kriterien

vergleichbare Schulen

empirisch geklärte Schwierigkeitsgrade

landesweite Orientierung

Zuordnung zu Kompetenzniveaus

Klasse / Kurs

Was bedeutet „vergleichbare Schule“? Gymnasium Gesamtschule Realschule Hauptschule

Was bedeutet „vergleichbare Schule“? Gymnasium Gesamtschule Realschule Hauptschule

I Migrationshintergrund (+++) Bildungsnähe der Elternhäuser (+++) Sozialtopographie II (---) … Migrationshintergrund (+) ... Bildungsnähe der Elternhäuser (+) Sozialtopographie (-) III ... Migrationshintergrund (-) Bildungsnähe der Elternhäuser (-) Sozialtopographie (+) ...

Schulleiterfragebogen zur Bildung von Standorttypen - Beispiel: Hauptschulen

Standorttypen – Verteilung der Schulen (N = 2107)

Standorttyp

Hauptschulen (N = 731)

Gesamtschulen Realschulen (N = 213) (N = 539)

(N = 624)

N = 278

N = 66

N = 161

1 Standorttyp

38,0%

N = 334

2 Standorttyp

3

N = 207 31,0%

N = 117 45,7%

N = 119

N = 332 54,9%

N = 30 16,3%

38,4%

14,1%

61,6%

Gymnasien

25,8%

N = 463 74,2%

Lernstandserhebungen (in NRW) unterscheiden sich von Schulleistungsstudien (z.B. PISA) durch ¾ flächendeckende Einbeziehung der Schulen (nicht nur Stichprobe) ¾ die enge Bindung an curriculare Standards ¾ die Konzentration auf ausgewählte Teilleistungsbereiche der Fächer ¾ eine Korrektur/Auswertung durch Lehrkräfte ¾ die systematische Einbindung in einen schulischen Entwicklungsprozess ¾ einheitliche Aufgabensätze für Lerngruppen (kein „MultimatrixSampling“)

¾ Gute Testaufgaben sind nicht zugleich auch immer gute Lernaufgaben für den Unterricht!

Peter, Paula und Maria sind Klassenkameraden und wohnen an der gleichen Straße. Am Ende der Straße liegt ihre Schule. Jeden Morgen gehen sie zu Fuß zur Schule, die um 8:15 Uhr beginnt. Die Zeichnung zeigt, wo sie sich gestern zu verschiedenen Zeiten befunden haben.

Ja Peter wohnt am weitesten von der Schule entfernt. Zusammen mit Maria geht Paula schneller als alleine. Maria ist noch nicht fertig, als Paula bei ihr vorbei kommt.

Nein

Aufgabe Schulweg Schülerinnen und Schüler können die zur Lösung der Aufgabe notwendigen Kompetenzen nicht durch die Bearbeitung von „ähnlichen“ Aufgaben erwerben.

Aufgaben zum Prüfen

Aufgaben zum Lernen

Aufgabe Schulweg Aufgaben zum Erwerb von Kompetenzen

Aufgabe für den Unterricht Auch für deinen Schulweg kann man solche Diagramme erstellen. Beschreibe deinen Schulweg und zeichne ein entsprechendes Diagramm.

Zielsetzung: Feststellung von Lern- und Förderbedarf

• Testergebnisse als Ansatzpunkt für Aussagen über spezifische Stärken und Schwächen und damit den Förderbedarf von Schülerinnen und Schülern diagnostische Potentiale der Aufgaben: Lernstände differenziert bezogen auf bestimmte Kompetenzen und Teilleistungsbereiche erkennen Verknüpfung mit Beobachtungen von Lernentwicklungen und -prozessen (schwedisches Modell der „diagnostischen Materialien“)

Auswertungsmöglichkeiten ¾ Ergebnisse im Hinblick auf kriterial beschreibbare Kompetenzniveaus ¾ Vergleich der Ergebnisse von parallelen Klassen ¾ Vergleich der Ergebnisse mit schulübergreifenden Referenzwerten ¾ Analyse von Lösungshäufigkeiten der einzelnen Aufgaben: Beschreibung von fachlichen Stärken und Schwächen in der Klasse / im Kurs

Aufgabenbezogene Rückmeldung (LSE 9)

Kompetenzbezogene Rückmeldung (LSE 9)

Kernlehrpläne und Lernstandserhebungen fachbezogene Kompetenzen prozessbezogene Kompetenzen

inhaltsbezogene Kompetenzen

Argumentieren

Argumentieren und Kommunizieren

Arithmetik/ Algebra

mit Zahlen und Symbolen umgehen

Problemlösen

Probleme erfassen, erkunden und lösen

Funktionen

Beziehungen und Veränderung beschreiben und erkunden

Modellieren

Modelle erstellen und nut-zen

Geometrie

ebene und räumliche Strukturen nach Maß und Form erfassen

Werkzeuge

Medien und Werkzeuge verwenden

Stochastik

mit Daten und Zufall arbeiten

Werden zu gleichen Teilen berücksichtigt

Kernlehrpläne und Lernstandserhebungen fachbezogene Kompetenzen prozessbezogene Kompetenzen

inhaltsbezogene Kompetenzen

2006

Argumentieren

Argumentieren und Kommunizieren

Arithmetik/ Algebra

mit Zahlen und Symbolen umgehen

2005

Problemlösen

Probleme erfassen, erkunden und lösen

Funktionen

Beziehungen und Veränderung beschreiben und erkunden

2004

Modellieren

Modelle erstellen und nutzen

Geometrie

ebene und räumliche Strukturen nach Maß und Form erfassen

2007

Werkzeuge

Medien und Werkzeuge verwenden

Stochastik

mit Daten und Zufall arbeiten

Jährlich wechselnder Schwerpunkt

Werden zu gleichen Teilen berücksichtigt

2004: Modellieren: • Schülerinnen und Schüler nutzen Mathematik als Werkzeug zum Erfassen von Phänomenen der realen Welt. • Sie übersetzen Realsituationen in mathematische Modelle (Terme, Gleichungen, Funktionen, Figuren, Diagramme, Tabellen, Zufallsversuche) und ordnen mathematischen Modellen passende Realsituationen zu. • Sie überprüfen und interpretieren die im mathematischen Modell gewonnene Lösung in der jeweiligen realen Situation, bewerten und verändern gegebenenfalls ihren Lösungsweg oder das Modell.

Kompetenzniveaus (Mathematik/Modellieren)

Zielsetzungen

• Tests prüfen empirisch, ob vorliegende Modelle tatsächlich die Aspekte der Kompetenzen von Lernenden, ihre Niveaustufung und ggf. ihre Entwicklung angemessen widerspiegeln Ansatzpunkte für die Reflexion über kumulatives Lernen und für die Kommunikation von Lernentwicklungen Referenzpunkte für die Weiterentwicklung von Bildungsstandards und Lehrplänen

Mathematik Modellieren nach Schulformen Verteilung der Schüler auf die Kompetenzniveaus (Mathematik: Modellieren)

Gymnasium 1 12

Realschule 1 6

Gesamtschule

NordrheinWestfalen

40

7

Hauptschule

46

14

14

5

35 *

52

49

17

8

0%

26

50

36

20%

7

4

18

38

40%

60%

13

80%

Nicht auswertbare Leistung

Niveau 1 (Kontextbezogenes Rechnen)

Niveau 2 (Elementares Situationsverständnis)

Niveau 3 (Einschrittiges Modellieren)

Niveau 4 (Komplexes Modellieren / Modelle entwickeln) * inkl. 4% über Niveau 4

1

** inkl. 1% über Niveau 4

**

100%

Perz entilbänder Mathematik (Modellieren) GYM S2 GYM S1 RE S2 RE S1 GS E-Kurs S3 GS E-Kurs S2 GS E-Kurs S1 GS G-Kurs S3 GS G-Kurs S2 GS G-Kurs S1 HS E-Kurs S3 HS E-Kurs S2 HS E-Kurs S1 HS G-Kurs S3 HS G-Kurs S2 HS G-Kurs S1 NRW 240

M1280

260 5%

10 %

M2 25 %

300

M3

Perzentile Mittelwert

75 %

320

M4

90 %

95 %

M4+

340

Leseverstehen Englisch nach Schulformen Verteilung der Schüler auf die Kompetenzniveaus (Englisch: Lesen) Gymnasium 1

19

Realschule 2

17

Gesamtschule 1

41

0%

20%

21

31

20

40%

51

21

37

33

3

9

30

33

Nordrhein-Westfalen 1 13

6

23

52

24

Hauptschule 3

39

60%

80%

Nicht auswertbare Leistung Niveau 1 (Auffinden bzw. Wiedererkennen von Informationen auf der Textoberfläche) Niveau 2 (Einfaches Verstehen) Niveau 3 (Grundlegendes Verstehen und einfaches Schlussfolgern) Niveau 4 (Differenziertes Verstehen und Schlussfolgern) Niveau 5 (Differenziertes Verstehen, Schlussfolgern und Restrukturieren)

14

100%

Leseverstehen Deutsch nach Schulformen Verteilung der Schüler auf die Kompetenzniveaus (Deutsch: Lesen)

Gymnasium 1

28

39

Realschule 2 9

Gesamtschule 2

Hauptschule

5

Nordrhein2 7 Westfalen 0%

32

60

13

16

19

23

51

19

14

45

10

45

20%

6

40%

9

23

60%

4

3

13

80%

Nicht auswertbare Leistung

Niveau 1 (Einfache Informationsentnahme)

Niveau 2 (Einfaches Leseverstehen)

Niveau 3 (Grundlegendes Leseverstehen)

Niveau 4 (Differenziertes Leseverstehen)

Niveau 5 (Komplexes Leseverstehen)

100%

Kompetenzmodelle: Beispiel Leseverstehen

Kompetenzmodelle: Beispiel Leseverstehen

Auswertung von Ergebnissen

Möglicher idealtypischer Ablauf eines Umgangs mit Ergebnissen ¾ Individuelle Auswertung auf der Ebene der Fachlehrkräfte ¾ Auswertung auf der Ebene der Fachgruppe (Lehrkräfte der Jahrgangsstufe) ¾ Diskussion und Überlegungen zu Konsequenzen durch die Fachkonferenz ¾ Vorlage für den Bericht an die Gremien/Schulaufsicht

Fachkonferenz Aufarbeitung der Ergebnisse aus der Lernstandserhebung

Fachkonferenz

Ziele • fachliche Vorarbeiten für die Berichterstattung an die Gremien / die Schulaufsicht • Vereinbarungen über konkrete Handlungsschritte zur Umsetzung der anvisierten Konsequenzen

Fachkonferenz Leitperspektive Stärken und Schwächen bei den Ergebnissen - bezogen auf fachliche Anforderungen der Aufgaben - im schulinternen Vergleich - im schulübergreifenden Vergleich Besprechungsaspekte - Bestandsaufnahme / Beschreibung der Ergebnisse - mögliche Ursachen / Erklärungen - Konsequenzen

Arbeitsfragen

Fachkonferenz

1. Welche Aufgaben schauen wir uns genauer an? (Auffälligkeiten / erwartungswidrige Ergebnisse, Extremwerte, Parallelklassenvergleich, Jahrgangsstufenvergleich, Referenzwerte) 2. Welche Auffälligkeiten bestehen bei den Kompetenzniveaus? (Bezugsgruppenvergleiche, genauere Betrachtung der inhaltlichen Dimensionen der einzelnen Kompetenzniveaus, erwartungswidrige Ergebnisse einzelner Schüler/innen) ________________________________________________ •

Mögliche Ursachen

•

Welche Konsequenzen ergeben sich für die Jahrgangsstufe 9 / für das Fach in den vorausgehenden Jahrgangsstufen?

Welcher Fortbildungsbedarf zeichnet sich bei der Umsetzung der LSE in den Schulen ab? Eine erste Bilanz – (1) Vorbereitung und Durchführung • Probleme beim Umgang mit den internetgestützten Verfahren „Damit habe ich ein Unternehmen beauftragt.“ • Gestaltung des schulinternen Arbeitsprozesses „Davon habe ich gar nichts mitbekommen, das machen bei uns nur die 9er“. • Missverständnisse über die Zielstellungen der Lernstandserhebungen „Da würde doch eine Stichprobe reichen, warum müssen wir das alle machen?“ • Einbindung in den Unterricht und Vorbereitung der Schülerinnen und Schüler „Nicht bei uns, aber in anderen Schulen wurden die Aufgaben gezielt geübt!“ • Unterschied zwischen Aufgabenformaten und Aufgabentypen der Lernstandserhebungen und Lernaufgaben bzw. Aufgaben in Klassenarbeiten „Da wird nur das Ergebnis gewertet, die richtige Antwortalternative könnten die Schüler auch erraten haben.“ • Lehrplan-/Standardbezug der Lernstandserhebungen „Das haben wir noch gar nicht behandelt.“

Welcher Fortbildungsbedarf zeichnet sich bei der Umsetzung der LSE in den Schulen ab? Eine erste Bilanz – (2) Umgang mit Ergebnissen • Anwendung der zentralen Bewertungskriterien bei der Auswertung „Bei 10 Lehrkräften kreuzt jeder etwas anderes an.“ • Sachgerechte Interpretation von Ergebnisübersichten und Schaubildern „Können Sie mir sagen, ob wir nun gut oder schlecht abgeschnitten haben?“ • Umgang mit Kompetenzmodellen „Was bedeutet es, wenn ein Viertel meiner Klasse nur Niveau 1 erreicht? Entsprechen diese Schüler den Standards oder nicht? • Schulinterner Umgang mit den Ergebnissen und Information der Eltern „Die Ergebnisse der Klassen und der Schule geben wir den Eltern nicht.“ • Analyse von Ergebnissen und Nutzen der diagnostischen Potentiale „Dass unsere Schülerinnen und Schüler das nicht können, wussten wir auch schon vorher.“ • Erarbeiten von Handlungsmöglichkeiten und Konsequenzen „Und welche Fördermöglichkeiten können Sie uns jetzt bieten?“

Aufgaben der Fortbildung im Zusammenhang der Kernlehrpläne und Lernstandserhebungen 1. Orientierungs- und Basiswissen • Vermittlung der Grundlagen des mit systematischer Standardsetzung und Standardsicherung verbundenen neuen Steuerungssystems für schulische Arbeit („Ergebnisorientierung“) • Thematisierung des curricularen „Paradigmenwechsels“, der mit der Einführung von Bildungsstandards und Kerncurricula verbunden ist • Funktionen von Bildungsstandards, Kernlehrplänen, Kompetenzmodellen vermitteln • Formen und Ziele von Standardüberprüfungen und von Lernstandserhebungen vermitteln

Aufgaben der Fortbildung im Zusammenhang der Kernlehrpläne und Lernstandserhebungen 2. Unterstützung der Prozessgestaltung • Umgang mit den Ergebnissen von Lernstandserhebungen in der schulischen Arbeit a) methodische Grundlagen: sachlich richtige Interpretation, Analyse von auffälligen Unterschieden zwischen parallelen Klassen, Fehleranalysen ... b) Gestaltung der schulinternen Arbeitsprozesse: Rückmeldung an die Lerngruppen, Arbeit in den Fachgruppen / -konferenzen, Information der Schüler/innen und Eltern ... • Standardsicherung als Teil der Schulprogrammarbeit: Umsetzung der Kernlehrpläne in der Schule, Einbindung der Standards und der Lernstandserhebungen in die interne Evaluation und die Weiterentwicklung des Schulprogramms .. • Standardüberprüfung als Teil des Schulmanagements: Aufgaben der Schulleitung beim Umgang mit Standards und Lernstandsergebnissen

Aufgaben der Fortbildung im Zusammenhang der Kernlehrpläne und Lernstandserhebungen 3. Fachspezifisches Handlungswissen • Einführung in die fachspezifischen Standards (Kernlehrpläne) und in die Bedeutung von Kompetenzmodellen • Aufgabenkultur und Aufgabentypen (komplexe Lernaufgaben - Testaufgaben) • Fachspezifische Unterrichtsentwicklung (Interpretation und Umgang mit Ergebnissen der Lernstandserhebungen, Selbstevaluation des Fachunterrichts ...) • Weiterentwicklung der Lehr- und Lernkultur (selbstständiges Lernen, Lern- und Arbeitstechniken, diagnostische Kompetenzen ...) • Fachspezifische Förderstrategien (insb. auch für Schüler/innen der unteren Kompetenzniveaus

Planungsstand LSE 2005

Planungsstand beim Durchgang 2005

Mathematik Diskussionsstand: • Schwerpunkt: prozessbezogene Kompetenz Problemlösen (50% der Aufgaben) - weiterhin Streuung über alle Inhaltsbereiche; allerdings: Akzentsetzung Geometrie/Raumvorstellung • Auswertungsformate: - falsch / richtig / nicht bearbeitet - zusätzlich bis zu drei unabhängige Kategorien zur Erfassung von Teillösungen T/A, T/B, T/C (Abstufung von Lösungsgraden und zur Erfassung typischer Fehler) - statistische Auswertungen, die über den Bezugsrahmen Schule hinausgehen, beschränken sich weiterhin auf die Kategorien nicht bearbeitet / falsch / richtig

Planungsstand beim Durchgang 2005

Deutsch Diskussionsstand: • weiterhin: thematische Einstimmung und Einbindung über ein Textheft • Schwerpunkte: - Lesen (Referenzwerte und Kompetenzniveaus) - Schreiben mit Fokus auf eine ausgewählte Dimension; testsetübergreifende Aufgabenstellung; „Checklisten“ zur Beurteilung (Referenzwerte und ggf. Kompetenzniveaus) - neu hinzu tritt der Lernbereich Zuhören und Verarbeiten von Informationen (Hörtext – in der Erprobung mit ca. 18 Items)

Planungsstand beim Durchgang 2005

Englisch Diskussionsstand: • Schwerpunkte: - integrative Berücksichtigung der interkulturellen und methodischen Kompetenzen sowie der Bereiche sprachliche Mittel und Korrektheit - explizite Schwerpunktsetzung bei den Teilbereichen des Gesamtkomplexes Kommunikative Kompetenzen (Lesen, Schreiben, Hörverstehen) - angestrebt wird eine Rückmeldung von Kompetenzniveaus im rezeptiven und produktiven Bereich; also auch im Bereich Schreiben neben dem Hörverstehen in 2005 und Lesen in 2006) • Testkonstruktion: - stärkere thematische Diversifizierung als 2004

Weiterer Zeitplan LSE 9 -

Schulbefragung des Landesinstituts zu den Erfahrungen mit den Lernstandserhebungen (Online-Befragungen)

- Präpilotierung der Aufgaben April / Mai Pilotierungsstudie (Überprüfung der Aufgaben, der Auswertungsanweisungen, der Kodierung, des Zeitaspekts und des Auswertungsverfahrens) im Juni zur Erprobung neuer Aufgaben - Berichte der Schulen an die Schulaufsicht bis Ende des Schuljahres - Evaluationsprojekte - Durchführung 2005 nach den Herbstferien: 26.10. (Mathematik), 3.11. (Deutsch), 8.11. (Englisch)