Jahrgangsstufentests Deutsch am Gymnasium Schuljahr 2009/2010

Statistische Auswertung

Staatsinstitut für Schulqualität und Bildungsforschung Abteilung Gymnasium - Referat Deutsch OStR Jürgen Rotschedl November 2009

1

Statistische Auswertung des Jahrgangsstufentests Deutsch am Gymnasium 2009 1

Gesamtüberblick

1.1

Jahrgangsstufe 6 2009

2008

2007

399

392

395

48686

48103

47295

Gesamtdurchschnitt aller Schulen:

3,37

3,27

3,32

bester Schuldurchschnitt:

2,33

2,10

2,40

schlechtester Schuldurchschnitt:

4,85

4,72

4,69

1,70%

1,51 %

1,41 %

2009

2008

2007

154

2171

395

15408

21272

42420

Gesamtdurchschnitt aller Schulen:

3,32

3,38

3,67

bester Schuldurchschnitt:

2,63

2,67

2,87

schlechtester Schuldurchschnitt:

4,63

5,29

4,83

1,52%

1,31 %

0,95 %

Gymnasien: Schüler:

Anteil der Legastheniker:

1.2

Jahrgangsstufe 8

Gymnasien: Schüler:

Anteil der Legastheniker:

1

In der Jahrgangsstufe 8 war den Schulen – mit Rücksicht auf die KMK-Vergleichsarbeiten (VERA) – die Teilnahme am Jahrgangsstufentest freigestellt.

2

2

Statistische Einzelauswertung (Jahrgangsstufe 6)

2.1 Notenverteilung bayernweit (in Prozentwerten) Jahrgangsstufe 6 - Notenverteilung

35 29,26

30 Prozent

25,89

23,53

25 20

17,15

15 10 2,32

5

1,81

0 1

2

3

4

5

6

Note

2.2

Verteilung der Schulschnitte bayernweit (in Prozentwerten)

Jahrgangsstufe 6 - Verteilung der Schulschnitte 16 14,7914,54 13,53

14 12,78

11,53

12

Prozent

10 8,52

8 6,02

6 4

3,26 2,76

2,26

2 0,75 0,00 0,25 0,00

2,76 2,01 1,00

0,75 0,25

0,50

1,00

0,50

0,00 0,00 0,00 0,00 0,25

0 2,212,30

2,312,40

2,412,50

2,512,60

2,612,70

2,712,80

2,812,90

2,913,00

3,013,10

3,113,20

3,213,30

3,313,40

3,413,50

3,513,60

3,613,70

Durchschnitt

3

3,713,80

3,813,90

3,914,00

4,004,10

4,114,20

4,214,30

4,314,40

4,414,50

4,514,60

4,614,70

4,714,80

4,814,90

2.3

Lösungsgrad bei den Einzelaufgaben

Hinweis: Eine vergleichende Betrachtung ist vor allem innerhalb eines Kompetenzbereiches aussagekräftig. Eine nach Aufgaben gegliederte Erläuterung der geforderten Kompetenzen, die z. B. auch bei der Information von Schülern und Eltern hilfreich sein kann, befindet sich im Anhang. Jahrgangsstufe 6 - Lösungsgrade Prozent 0

10

20

30

40

50

60

70

Erfassen wesentlicher Inhalte

64,2

Erfassen der Funktion von Textstellen

62,1

Erfassen der Bedeutung von Textstellen

62,0

Überprüfen von Aussagen anhand eines Textes

60,4

Ermitteln von Aussagen in nicht-linearen Texten

64,0

Ermitteln und Verbessern von Ausdrucksfehlern

62,1

Kennen und Verwenden von Synonymen

54,2

54,8

Erklären von Redensarten Ermitteln und Verbessern von Grammatikfehlern

56,4

Bilden korrekter Präteritumsformen

69,9

Ergänzen und Benennen von Satzgliedern

61,7

59,4

Ergänzen von Satzzeichen

52,4

Rechtschreiben

62,9

Überarbeiten von Texten

Der Lösungsgrad aller Aufgaben betrug 60,64% (Vorjahr: 61,95 %)

4

80

2.4

Bewertung des Jahrgangsstufentests durch die Lehrkräfte

2.4.1 Arbeitszeit: Bewertung (in Prozentwerten) Jahrgangsstufe 6 - Arbeitszeit 90 80 70 60 50 40 30 20 10 0

80,9

18,2 0,9 zu viel Zeit

angemessen

zu wenig Zeit

Die Arbeitszeit wurde überwiegend als angemessen eingestuft. 2009 2008 2007

zu viel Zeit

ausreichend Zeit

zu wenig Zeit

0,9 % 0,5 % 1,9 %

80,9 % 66,7 % 78,6 %

18,2 % 32,8 % 19,5 %

2.4.2 Anforderungsniveau: Bewertung (in Prozentwerten) Jahrgangsstufe 6 - Anforderungsniveau 90 80 70 60 50 40 30 20 10 0

79,6

19,3 1,1 zu hoch

angemessen

zu niedrig

Das Anforderungsniveau wurde mehrheitlich gutgeheißen. 2009 2008 2007

zu hoch

angemessen

zu niedrig

19,1 % 14,1 % 36,6 %

79,6 % 85,1 % 60,9 %

1,1% 0,8 % 2,5 %

5

3

Statistische Einzelauswertung (Jahrgangsstufe 8)

3.1 Notenverteilung bayernweit (in Prozentwerten) Jahrgangsstufe 8 - Notenverteilung 40

35,96

35

Prozent

30

26,83

25

21,95

20 13,71

15 10 5

0,84

0,68

0 1

2

3

4

5

6

Note

3.2 Verteilung der Schulschnitte bayernweit (in Prozentwerten)

Jahrgangsstufe 8 - Verteilung der Schulschnitte 20 18,18

18 16,23

16 14,29

14

Prozent

12 10,39 9,74

10

8,44

8 6

5,19 4,55

4 2,60

2,60 1,95

2

1,95

0,65 0,65

0

0,65

0,00 0,00 0,00 0,00

0,65 0,65 0,65 0,00 0,00 0,00

0,00 0,00

2,21- 2,31- 2,41- 2,51- 2,61- 2,71- 2,81- 2,91- 3,01- 3,11- 3,21- 3,31- 3,41- 3,51- 3,61- 3,71- 3,81- 3,91- 4,00- 4,11- 4,21- 4,31- 4,41- 4,51- 4,61- 4,71- 4,812,30 2,40 2,50 2,60 2,70 2,80 2,90 3,00 3,10 3,20 3,30 3,40 3,50 3,60 3,70 3,80 3,90 4,00 4,10 4,20 4,30 4,40 4,50 4,60 4,70 4,80 4,90

Durchschnitt

6

3.3 Lösungsgrad bei den Einzelaufgaben Hinweis: Eine vergleichende Betrachtung ist vor allem innerhalb eines Kompetenzbereiches aussagekräftig. Eine nach Aufgaben gegliederte Erläuterung der geforderten Kompetenzen, die z. B. auch bei der Information von Schülern und Eltern hilfreich sein kann, befindet sich im Anhang. Jahrgangsstufe 8 - Lösungsgrade Prozent 0

10

20

30

40

50

60

70

Erfassen wesentlicher Inhalte

80 71,1

Überprüfen von Aussagen anhand eines Textes

59,9

Erfassen der Bedeutung von Textstellen

72,5

Erkennen der Struktur eines Textes

64,2

Ermitteln von Aussagen in nicht-linearen Texten

59,7

Ermitteln und Verbessern von Ausdrucksfehlern

57,7

Ersetzen von Wörtern mit fremdsprachlicher Wurzel

72,4

Erkennen und Einsetzen von Redewendungen

55,1

56,1

Ermitteln von Synonymen

61,5

Umformen von Attributen Bilden korrekter Präteritumsformen

55,2

Ermitteln und Verbessern von Grammatikfehlern

57,9

Ergänzen und Verwenden von Satzzeichen

58,8

Überarbeiten von Texten

59,0

61,2

Rechtschreiben

Der Lösungsgrad aller Aufgaben betrug 61,40 %. (Vorjahr: 60,91 %)

7

3.4

Bewertung des Jahrgangsstufentests durch die Lehrkräfte

3.4.1 Arbeitszeit: Bewertung (in Prozentwerten) Jahrgangsstufe 8 - Arbeitszeit 90 80 70 60 50 40 30 20 10 0

78,6

19,8 1,5 zu viel Zeit

angemessen

zu wenig Zeit

Die Arbeitszeit wurde überwiegend als angemessen eingestuft. 2009 2008 2007

zu viel Zeit

ausreichend Zeit

zu wenig Zeit

1,5 % 0,8 % 3,0 %

78,6 % 52,6 % 31,6 %

19,8 % 46,7 % 65,4 %

3.4.2 Anforderungsniveau: Bewertung (in Prozentwerten) Jahrgangsstufe 8 - Anforderungsniveau 100

86,2

80 60 40 12,0

20

1,7 0 zu hoch

angemessen

zu niedrig

Das Anforderungsniveau wurde mehrheitlich gutgeheißen. 2009 2008 2007

zu hoch 12 % 11,7 % 54,3 %

angemessen 86,2 % 86,6 % 42,8 %

8

zu niedrig 1,7 % 1,7 % 2,9 %

4

Weiterentwicklung des Jahrgangsstufentests

Mit Rücksicht auf die in der Jahrgangsstufe 8 stattfindenden KMKVergleichsarbeiten

(VERA)

war

den

Schulen

die

Teilnahme

am

Jahrgangsstufentest Deutsch im Schuljahr 2009/2010 freigestellt. Die Tatsache, dass sich über 150 Gymnasien für die Teilnahme entschieden, zeigt zum einen, dass die Jahrgangsstufentests als bewährtes Instrument der Diagnose und Förderung anerkannt werden. Zum anderen wird ersichtlich, dass die teilnehmenden

Schulen

auf

die

landesweit

ermittelten

Hinweise

zur

Qualitätsentwicklung, die der Jahrgangsstufentest gibt, auch in diesem Schuljahr nicht verzichten wollten. In den Jahrgangsstufen 6 und 8 wurden 2009 Sachtexte eingesetzt; eine Festlegung auf bestimmte Textsorten erfolgt jedoch nicht. Auch literarische Texte werden künftig bei der Auswahl berücksichtigt. Für beide Jahrgangsstufen bestätigen die Ergebnisse, dass die Lesekompetenz am bayerischen Gymnasium umfassend vermittelt wird. Dies ist ein Hinweis darauf, dass in diesem Bereich die Kompetenzorientierung des Lehrplans im Unterricht mit Erfolg umgesetzt wird. Rückmeldungen und Ergebnisse deuten in beiden Jahrgangsstufen darauf hin, dass Defiziten im Ausdrucksbereich – aktiv wie passiv – weiterhin noch mehr Beachtung geschenkt werden sollte, auch wenn die Arbeit in diesem Bereich erst auf längere Sicht nachhaltige Ergebnisse zeitigt. Bei der Weiterentwicklung der Jahrgangsstufentests wird – auch im Hinblick auf die KMK-Bildungsstandards – Aufgaben der Vorzug gegeben, die kompetenzund anwendungsorientiert sind, sodass in enger Anlehnung an das Grundwissen der betreffenden Jahrgangsstufen primär der nachhaltige Lernerfolg erfasst wird. Ein Wechsel von Aufgabenstellungen soll in jedem Jahr eine möglichst verlässliche Diagnose ermöglichen.

9

Den Schülern kann anhand der Resultate des Jahrgangsstufentests verdeutlicht werden, dass nur bei kontinuierlicher Arbeit am Grundwissen das erwünschte Ergebnis erzielt werden kann und dass Unterricht dann am effektivsten ist, wenn das Bemühen aller Beteiligten auf einen langfristigen und nachhaltigen Lernerfolg ausgerichtet ist.

Den Kolleginnen und Kollegen, die dem Referat Deutsch ihre Rückmeldungen übermittelt haben und damit die Weiterentwicklung der Jahrgangsstufentests im Fach Deutsch unterstützen, wird ausdrücklich gedankt.

Staatsinstitut für Schulqualität und Bildungsforschung Abteilung Gymnasium - Referat Deutsch OStR Jürgen Rotschedl November 2009

10

Erläuterungen zu den Aufgaben der Jahrgangsstufe 6 In den einzelnen Aufgaben des Jahrgangsstufentests 2009 am Gymnasium (Jahrgangsstufe 6) werden folgende Kompetenzen verlangt: Aufgabe 1: Getestet wird die Fähigkeit, das Wesentliche eines Textes zu erfassen. Dies schafft die Basis, einen Text als Ganzes zu verstehen und ist damit Bestandteil der Lesekompetenz, wie sie die PISA-Studie definiert und wie sie auch in den KMK-Bildungsstandards niedergelegt ist. Zur Lösung der Aufgabe müssen die Schüler zudem über die entsprechende Abstraktionsfähigkeit verfügen. Aufgabe 2: Diese Aufgabe prüft, welche Funktion die Abschnitte eines Texts für die Gesamtstruktur haben. Um die Informationen eines Texts zu nutzen bzw. sich damit auseinanderzusetzen, muss begriffen werden, wie der gedankliche Aufbau gestaltet ist. Eine Auseinandersetzung mit der Struktur eines Textes ist auch Teil der KMK-Bildungsstandards. Aufgabe 3: Die Schüler müssen hier unter Beweis stellen, dass sie die Bedeutung zentraler Passagen und Formulierungen in einem Text erschließen können. Es handelt sich dabei um eine Grundfähigkeit, die für das Verstehen von Texten aller Art unabdingbar ist. Damit ist sie ein Aspekt der Lesekompetenz, den auch die PISA-Studie ausweist. Aufgabe 4: In dieser Aufgabe müssen die Schüler überprüfen, ob bestimmte Aussagen in einem Text enthalten sind. Das korrekte Erfassen des Inhalts eines Texts auch im Detail ist die Voraussetzung eines umfassenderen Verstehens und ist Bestandteil der Lesekompetenz, wie sie in der PISA-Studie definiert wird. Aufgabe 5: Voraussetzung für die Lösung ist es, die Informationen in einer Skizze in einen Bezug zueinander zu setzen und als richtig, falsch oder nicht enthalten zu kennzeichnen. Diese Aufgabe erfordert Lesekompetenz auch in dem Sinne, das Verhältnis von Einzelinformation und Text zu verstehen. Letzteres ist vor allem beim Umgang mit den neuen Medien eine Schlüsselkompetenz und wird daher auch in den KMK-Bildungsstandards gefordert. Die Aufgabe trägt der gestiegenen Bedeutung von sogenannten nicht-kontinuierlichen Texten Rechnung. Aufgabe 6: Mit dem vom Schüler verlangten Erkennen und Verbessern sprachlicher Fehler werden Sprachgefühl und Ausdrucksfähigkeit überprüft. Beide sind erforderlich, um präzise, stilsicher und sprachlich korrekt zu formulieren. Im Rahmen des Überarbeitens von Texten sind sie Teil der selbständigen Gestaltung des Schreibprozesses. Aufgabe 7: Hier ist die Fähigkeit gefordert, in einem bestimmten Kontext einen Ausdruck mit gleicher oder sehr ähnlicher Bedeutung zu einem angegebenen Wort finden. Die Aufgabe erfasst die Ausdrucksfähigkeit der Schüler und sensibilisiert sie für die verschiedenen Wortbedeutungen, die je nach Satzzusammenhang aktualisiert werden. Für das Ausdrucksvermögen ist es unverzichtbar, variabel zu formulieren. 11

Aufgabe 8: Hier müssen die Schüler unter Beweis stellen, dass sie in der Lage sind, die Bedeutung bildhafter Formulierungen in Redensarten zu erfassen. Die Aufgabe sensibilisiert die Schüler somit für die bildhafte Dimension der Sprache. Für einen lebendigen und überzeugenden Ausdruck ist es wichtig, bildhafte Wendungen zu verwenden; daher wird diese Fähigkeit auch in den KMK-Bildungsstandards gefordert. Aufgabe 9: In dieser Aufgabe müssen die Schüler zeigen, dass sie in der Lage sind, Grammatikfehler zu ermitteln und zu beseitigen. Dies stellt auch eine Leistung beim Überarbeiten Texten dar. Die sichere Beherrschung der deutschen Sprache wird sowohl vom Lehrplan als auch von KMKBildungsstandards gefordert und ist die Grundlage für angemessenen schriftlichen Ausdruck. Aufgabe 10: In dieser Aufgabe müssen die Schüler zeigen, dass sie in der Lage sind, Präteritumsformen korrekt zu bilden und zu verwenden. Eine sichere Beherrschung der deutschen Sprache wird sowohl vom Lehrplan als auch von KMK-Bildungsstandards gefordert und ist die Grundlage für angemessenen schriftlichen Ausdruck. Aufgabe 11: In dieser Aufgabe müssen die Schüler zeigen, dass sie in der Lage sind, einen vorgegeben Satz durch geforderte Satzglieder so zu ergänzen, dass der Satz zusätzliche, präzisierende Informationen erhält. Eine sichere und differenzierte Beherrschung der deutschen Sprache wird sowohl vom Lehrplan als auch von KMK-Bildungsstandards gefordert und ist die Grundlage für angemessenen schriftlichen Ausdruck. Aufgabe 12: In dieser Aufgabe aktivieren die Schüler ihre Fähigkeiten im Bereich der Zeichensetzung. Dies ist eine Voraussetzung für eine korrekte Abfassung von Texten, aber auch für eine sinnunterstützende Gliederung von Sätzen wichtig, um die Verständlichkeit geschriebener Texte zu erhöhen. Aufgabe 13: Diese Aufgabe verlangt, die Regeln der Rechtschreibung in einem längeren Text anzuwenden. Die Aufgabe konzentriert sich auf die Hauptschwierigkeiten der Rechtschreibung wie Großbzw. Kleinschreibung und die s-Schreibung. Die sichere Beherrschung der deutschen Rechtschreibung zählt zu den im Grundwissen des Lehrplans sowie in den KMKBildungsstandards verankerten Fertigkeiten. Aufgabe 14: Hier wird von den Schülern gefordert, einen Text zu überarbeiten und formal fehlerfrei zu gestalten. Dies ist ein Teil der eigenverantwortlichen Gestaltung des Schreibprozesses, wie sie auch in den KMK-Bildungsstandards vorgeschrieben wird.

12

Erläuterungen zu den Aufgaben der Jahrgangsstufe 8 In den einzelnen Aufgaben des Jahrgangsstufentests 2009 am Gymnasium (Jahrgangsstufe 8) werden folgende Kompetenzen verlangt: Aufgabe 1: Getestet wird die Fähigkeit, das Wesentliche eines Textes zu erfassen. Dies schafft die Basis, einen Text als Ganzes zu verstehen und ist damit Bestandteil der Lesekompetenz, wie sie die PISA-Studie definiert und wie sie auch in den KMK-Bildungsstandards niedergelegt ist. Zur Lösung der Aufgabe müssen die Schüler zudem über die entsprechende Abstraktionsfähigkeit verfügen. Aufgabe 2: In dieser Aufgabe müssen die Schüler überprüfen, ob bestimmte Aussagen in einem Text enthalten sind. Das korrekte Erfassen des Inhalts eines Texts auch im Detail ist die Voraussetzung eines umfassenderen Verstehens und ist Bestandteil der Lesekompetenz, wie sie in der PISA-Studie definiert wird. Aufgabe 3: Die Schüler müssen hier unter Beweis stellen, dass sie die Bedeutung zentraler Passagen und Formulierungen in einem Text erschließen können. Es handelt sich dabei um eine Grundfähigkeit, die für das Verstehen von Texten aller Art unabdingbar ist. Damit ist sie ein Aspekt der Lesekompetenz, den auch die PISA-Studie ausweist. Aufgabe 4: Diese Aufgabe prüft, welche Funktion die Abschnitte eines Texts für die Gesamtstruktur haben. Um die Informationen eines Texts zu nutzen bzw. sich damit auseinanderzusetzen, muss begriffen werden, wie der gedankliche Aufbau gestaltet ist. Eine Auseinandersetzung mit der Struktur eines Textes ist auch Teil der KMK-Bildungsstandards. Aufgabe 5: Voraussetzung für die Lösung ist es, die Informationen in einer Tabelle in einen Bezug zueinander zu setzen und als richtig, falsch oder nicht enthalten zu kennzeichnen. Diese Aufgabe erfordert Lesekompetenz auch in dem Sinne, das Verhältnis von Einzelinformation und Text zu verstehen. Letzteres ist vor allem beim Umgang mit den neuen Medien eine Schlüsselkompetenz und wird daher auch in den KMK-Bildungsstandards gefordert. Die Aufgabe trägt der gestiegenen Bedeutung von sogenannten nicht-kontinuierlichen Texten Rechnung. Aufgabe 6: Mit dem vom Schüler verlangten Erkennen und Verbessern sprachlicher Fehler werden Sprachgefühl und Ausdrucksfähigkeit überprüft. Beide sind erforderlich, um präzise, stilsicher und sprachlich korrekt zu formulieren. Im Rahmen des Überarbeitens von Texten sind sie Teil der selbständigen Gestaltung des Schreibprozesses. Aufgabe 7: In dieser Aufgabe zeigen die Schüler, dass sie in Lage sind, gängige Wörter mit fremdsprachlicher Wurzel zu verstehen und durch korrekte Begriffe aus dem Deutschen ersetzen können. Dies ist einerseits für einen variablen Ausdruck von Bedeutung, andererseits auch dann wichtig, wenn es gilt, auf einer bestimmten Stilebene angemessen zu formulieren.

13

Aufgabe 8: Hier müssen die Schüler unter Beweis stellen, dass sie in der Lage sind, gängige bildhafte Formulierungen sinnvoll anzuwenden. Die Aufgabe erfasst die Ausdrucksfähigkeit der Schüler und sensibilisiert sie somit für die bildhafte Dimension der Sprache. Für einen lebendigen und überzeugenden Ausdruck ist es wichtig, bildhafte Wendungen zu verwenden; daher wird diese Fähigkeit auch in den KMK-Bildungsstandards gefordert. Aufgabe 9: Hier ist die Fähigkeit gefordert, in einem bestimmten Kontext einen Ausdruck mit gleicher oder sehr ähnlicher Bedeutung zu einem angegebenen Wort finden. Die Aufgabe erfasst die Ausdrucksfähigkeit der Schüler. Für das Ausdrucksvermögen ist es unverzichtbar, variabel und präzise zu formulieren. Aufgabe 10: Die Aufgabe erfordert vom Schüler, durch die grammatikalisch korrekte Umwandlung von Attributen sowie die Verwendung unterschiedlicher Attributarten einen Text abwechslungsreich zu gestalten. Für einen flüssigen Stil ist es erforderlich, zwischen unterschiedlichen grammatikalischen Strukturen variieren zu können. Eine sichere und differenzierte Beherrschung der deutschen Sprache wird sowohl vom Lehrplan als auch von KMK-Bildungsstandards gefordert und ist die Grundlage für angemessenen schriftlichen Ausdruck. Aufgabe 11: In dieser Aufgabe müssen die Schüler zeigen, dass sie in der Lage sind, Präteritumsformen korrekt zu bilden und zu verwenden. Eine sichere Beherrschung der deutschen Sprache wird sowohl vom Lehrplan als auch von KMK-Bildungsstandards gefordert und ist die Grundlage für angemessenen schriftlichen Ausdruck. Aufgabe 12: In dieser Aufgabe müssen die Schüler zeigen, dass sie in der Lage sind, Grammatikfehler zu ermitteln und zu beseitigen. Dies stellt auch eine Leistung beim Überarbeiten Texten dar. Die sichere Beherrschung der deutschen Sprache wird sowohl vom Lehrplan als auch von KMKBildungsstandards gefordert und ist die Grundlage für angemessenen schriftlichen Ausdruck. Aufgabe 13: In dieser Aufgabe aktivieren die Schüler ihre Fähigkeiten im Bereich der Zeichensetzung. Dies ist eine Voraussetzung für eine korrekte Abfassung von Texten, aber auch für eine sinnunterstützende Gliederung von Sätzen wichtig, um die Verständlichkeit geschriebener Texte zu erhöhen. Aufgabe 14: Hier wird von den Schülern gefordert, einen Text zu überarbeiten und formal fehlerfrei zu gestalten. Dies ist ein Teil der eigenverantwortlichen Gestaltung des Schreibprozesses, wie sie auch in den KMK-Bildungsstandards vorgeschrieben wird. Aufgabe 15: Diese Aufgabe verlangt, die Regeln der Rechtschreibung in einem längeren Text anzuwenden. Die Aufgabe konzentriert sich auf die Hauptschwierigkeiten der Rechtschreibung wie Großbzw. Kleinschreibung sowie Dehnung bzw. Schärfung. Die sichere Beherrschung der deutschen Rechtschreibung zählt zu den im Grundwissen des Lehrplans sowie in den KMKBildungsstandards verankerten Fertigkeiten. 14