Die Verwendung von Rubrics zur Bewertung von Lernergebnissen in Projekten Entwicklung eines neuen Prüfungsinstrumentariums
für Projektarbeit im Masterstudium In Kooperation mit Prof. S. Schabel, Studiendekan a.D., FB Maschinenbau
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
1
Inhalte
1 2 3 4
• Was sind „Rubrics“?
• Welche Vorteile haben „Rubrics“?
• Wie werden Rubrics entwickelt – ein Beispiel
• Wie werden soziale Kompetenzen abgebildet?
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
2
Was sind „Rubrics“? • „Rubrics“ (dt. ~Bewertungsbogen) sind Teil eines Prüfungsinstrumentariums • Sie dienen der kriterien-geleiteten Bewertung von Lernergebnissen / Produkten (z.B. Masterarbeit / Projektarbeit) • Das Beurteilungsraster beinhaltet auch Leistungsstufen, d.h. es unterscheidet gute von schlechten Leistungen
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
3
Ein Beispiel: Ausschnitt aus einem Bewertungsbogen
Schriftliche Ausarbeitung: Struktur sorgfältige, überzeugende Struktur der Arbeit Struktur vorhanden Gliederung, die nicht erkennbar bzw. und mit Verständnis fördert nicht nachvollziehbar; Einschränkungen und Lesen erleichtert; Umfang viel zu lang; erkennbar; Umfang Konzentration auf das Detailergebnisse im der Arbeit vertretbar; Wesentliche im Text ; Anhang vorhanden Textteil; gut ohne Anhang strukturierter Anhang mit Verweisen
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
4
Welche Vorteile haben „Rubrics“? Für Lehrende: + Lehrende können gezielter Feedback geben, in welchen Bereichen
noch Entwicklungsbedarf besteht -> formatives Prüfen + die Bewertung wird objektiver und konsistenter + die Bewertung kostet weniger Zeit + auch neue Mitarbeiter_innen können eine gute Bewertung vornehmen HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
5
Welche Vorteile haben „Rubrics“? Für Studierende: + Die Studierenden können ihre Leistung verbessern, indem sie sich an klaren Beurteilungskriterien orientieren können + Studierende können sich leichter Peer-Feedback geben.
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
6
Konsistenz von Lernzielen und Prüfung
Dozenten Perspektive: Lernziele
Lehraktivitäten
Assessment
Studentische Perspektive: Assessment
Lernaktivitäten
Lernergebnisse
In Anlehnung an: Biggs, Teaching for Quality Learning HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
7
Wie werden Rubrics entwickelt ? ein Beispiel aus dem Maschinenbau TU Darmstadt
Advance Design Projects (ADP) • aktuelle, komplexe und ergebnisoffene Aufgabenstellung
• konstruktive Produktentwicklung im Vordergrund • kann mit Industriepartnern erstellt werden • 4-7 Studierende • 2-6 Wochen im Masterstudium • 12 CP für 2 ADPs • Prüfung: Projektdokumentation (incl. Projektmanagement), schriftliche Selbstreflexion, mündl. Präsentation mit Fragen HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
8
Wie werden Rubrics entwickelt ? ein Beispiel Überarbeitung der Lernziele
aus dem Maschinenbau TU Darmstadt Ableitung von Beurteilungskriterien Gewichtung der Kriterien Formulierung der Leistungsstufen
Test phase Bekannt machung im Fachbereich
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
9
Überarbeitung der Ziele: Fach- und Methodenkompetenzen Studierende sind in der Lage, als Gruppe in vorgegebener Zeit eine strukturierte und validierbare Aufgabenlösung mit eigenständigen Ideen
für eine konstruktive Produktentwicklung zu erarbeiten. Sie können die Ergebnisse nach wissenschaftlichen Standards erarbeiten, dokumentieren und präsentieren. Bei der Bearbeitung des ADP ordnen sie geeignete Bausteine ihres Fachwissens in den aufgabenspezifischen Kontext ein, vernetzen diese und wenden sie produktiv an. Wo notwendig, erweitern sie ihr Fach- und Methodenwissen. Bei der Bearbeitung des ADP ist die Gruppe in der Lage, selbstständig zu arbeiten und situations- und aufgabenspezifisch Methoden der Konstruktionsmethodik sowie des Projekt- und Zeitmanagements anzuwenden. HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
11
Überarbeitung der Ziele: Fach- und Methodenkompetenzen
•Aufgabenlösung nach wissenschaftlichen Standards erarbeiten, dokumentieren und präsentieren. • Fachwissen vernetzen u. anwenden • Gruppe selbstständig • Methoden der Konstruktionsmethodik sowie des Projekt- und Zeitmanagements
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
12
Überarbeitung der Lernziele: General Skills Die Studierenden können die Aufgabenstellung arbeitsteilig bearbeiten, indem sie die Fähigkeiten aller Teammitglieder im Sinne der bestmöglichen Lösung integrieren. Sie können aktiv konstruktive Kommunikation innerhalb der Gruppe, mit dem Betreuer und ggf. externen Partnern gestalten. Dabei schließen sie Kompromisse und lösen Konflikte, um gemeinsame Lösungen zu finden.
Jede/r Studierende bringt eigene Ideen ein und vertritt diese vor der Gruppe. Desweiteren setzt er/sie sich mit eigenen Stärken und Schwächen in Bezug auf die Teamaufgabe auseinander. Die Studierenden können die Angemessenheit ihres Vorgehens (Lösungsansätze, Methoden, Gruppenprozess, eigene Rolle) in Bezug auf die Zielerreichung reflektieren und bewerten. HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
13
Überarbeitung der Lernziele: General Skills
• Aufgabenstellung arbeitsteilig • aktiv konstruktive Kommunikation • eigene Ideen vertreten • Sich mit eigenen Stärken und Schwächen auseinandersetzen • Vorgehen reflektieren
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
14
Ableiten der Beurteilungskriterien Inhaltliche Bearbeitung
Qualität der Arbeitsergebnisse
Kreativität / eigene Ideen
Lösungsgrad Anwendung Fachwissen
Wissenschaftlichkeit
Klärung Zielsetzung Verwertbarkeit Analytisches Denken HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
15
Gewichtung der Kriterien Inhaltliche Bearbeitung
Qualität der Arbeitsergebnisse
0,20 0,05
Kreativität / eigene Ideen
0,05
Anwendung von Fachwissen
0,05
Klärung der Aufgabenstellung und Zielsetzung
0,05
Analytisches Denken
0,03
Lösungsgrad
0,03
Wissenschaftlichkeit der Arbeitsergebnisse
0,03
Umsetzbarkeit /Verwertbarkeit
0,10
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
16
Formulierung der Leistungsstufen
Qualität der Arbeitsergebnisse 0,10
0
Lösungs Arbeit nur grad unvollständig bearbeitet; wesentliche Arbeitspakete fehlen
1
2
Arbeit weitgehend vollständig bearbeitet; in einigen Arbeitspaketen fehlt Vollständigkeit
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
3
4
Arbeitspakete vollständig und einwandfrei bearbeitet; zusätzliche wesentliche Arbeitspakete mit bearbeitet
Einzel/ Gruppen bewertung G
17
Wie werden soziale Kompetenzen abgebildet?
Kommunikation
Arbeitsteilung Kompromisse/ Konfliktlösung
Teilnehmende Beobachtung in der Gruppe?
= Prüfungssituation?
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
18
Reflexion als Beschleuniger des Lernprozesses
http://www.garten-kompass.de/typo3temp/pics/duenger_00560927_81934b06cd.jpg
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
19
Leitfragen Selbstreflexion - Beispiele • Wie war die inhaltliche Aufgabenteilung und wie die Rollenverteilung bei der Steuerung des Teams (z.B. auf der sozialen Ebene, Moderation, Leitungsfunktion)? • Wie beurteilen Sie Ihre eigene Rolle in der Gruppe? • Wie ist es Ihnen gelungen eigene Ideen vor der Gruppe zu vertreten?
Beschreiben Sie eine konkrete Situation. • Welche Stärken und Schwächen sind Ihnen bei sich selbst in Bezug auf die Gruppenarbeit bewusst geworden? Wo sehen Sie noch Entwicklungsbedarf bei sich selbst?
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
21
Bewertung des Selbstreflexionsberichtes Reflexion
0
1
2
3
4
0,10 nur oberflächlicher Rückblick; keine kritische Reflexion des Analyse; keine GruppenBewertung des prozesses eigenen und der Vorgehens; kein eigenen Rolle Aufzeigen von (Selbst Verbesserungsreflexionsmaßnahmen; bericht) keine eigene Entwicklungsrichtung formuliert
beschreibt differenziert; etwas Analyse; schlägt vereinzelte Verbesserungsmaßnahmen vor; einzelne Ideen zur eigenen Weiterentwicklung formuliert
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
beschreibt hoch E differenziert; Analyse der Gründe sowie der Konsequenzen für das Vorgehen, Bewertung des Vorgehens hinsichtlich zielführend und erfolgreich, Aufzeigen von mehreren Verbesserungsmaßnahmen; Formulierung mehrerer Ideen für die eigene Entwicklungsrichtung
22
Beispiele für „Verbesserungsideen“ in Selbstreflexionen • „Auf der Gruppenebene hätte ich für das nächste Projekt vorgeschlagen, sich im Vorfeld mehr Zeit für die Vorbereitungen zu nehmen“. • „Wenn ich nochmal ein ADP starte, würde ich die Aufgabe so verteilen, dass in jeder Untergruppe ein Deutscher und ein Ausländer ist.“ Bei Ausarbeitung Probleme beim Zusammenführen: • „dies lässt sich verbessern, wenn sich die Gruppe vor Beginn der Ausarbeitung auf Konventionen einigt.“
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
23
Beispiele für Beschreibungen der eigenen Entwicklungsrichtung „Zu Beginn fiel mir das nicht ganz leicht, diese Verantwortung für
Entscheidungen zu übernehmen, doch mit der Zeit gewöhnte ich mich daran, und ich konnte meine Entscheidungen vor der Gruppe vertreten.“
„Meine größte Schwäche sehe ich immer wieder an meiner mangelnden Fähigkeit Kritik an Teammitgliedern zu äußern. Ich empfinde es als sehr schwierig hier den richtigen Ton anzuschlagen und sehe hier auch das größte Weiterentwicklungsbedürfnis.“
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
24
Auf den Punkt gebracht An Assessment Tool to…. • Save Grading Time • Convey Effective Feedback • Promote Student Learning (Dannelle Stevens, Antonia Levi)
HDA | A. Glathe | Die Verwendung von Rubrics zur Bewertung von Lernergebnissen
25
