960 768 600 1280 1024 800

Medien Vormittag Nachmittag Testbild V3.0 [17.03.2011]

Muss das denn wirklich sein? 2

Diese Folien sind nur für den persönlichen Gebrauch bestimmt. Eine Weitergabe – auch auszugsweise - ist nicht gestattet.

Wozu überhaupt Prüfen? Prüfungen dienen der • Selektion • Steuerung Selbsteinschätzung Zulassung Erwartungen Teambildung

Vorbereitung 3

Ablauf Erfolgskontrolle Feedback Durchführung

Nachhaltigkeit Transfer

Nachbereitung

Zeit

e-Prüfungssysteme können mehr als e-Prüfen

Integrierte Systeme zur

Planung Entwicklung Durchführung Auswertung Verwaltung Evaluation Archivierung

Prozess 4

von

Befragungen Selbstkontrollen Testaten Klausuren

Modus

.

Leistungsspektrum: Testtypen

Umfragen: • Erhebung, Quiz, ..

juristisch relevant? −

Lernleistungstests (Prüfungen): − • Selbstkontrolle +/− • Test, Testat + • Klausur

5

Leistung anonym erhoben? ? +/− +/− + + +

+ − −

Q[kju:] (IQuL) iQBox (Comartis) OPS (Inside) TestStudio (LPLUS) PharmAskYou (Pharmasquare) Perception (Questionmark) Online eXam (ILIAS)

Docent University (Docent) ViPs (Stud.IP)

Openmark (Moodle) 6

Teststation (Enlight)

Können e-Prüfungen überhaupt stattfinden? 7

Diese Folien sind nur für den persönlichen Gebrauch bestimmt. Eine Weitergabe – auch auszugsweise - ist nicht gestattet.

Lehrveranstaltung „Informatik im Maschinenbau“

8

© Institutscluster IMA/ZLW & IfU

Prüfung im ARPA

9

© Institutscluster IMA/ZLW & IfU

Infrastruktur des ARPA ARPA – Aachener Rechner-Pool Audimax Räume à 50 PCs

Raum 1

10

Raum 2 Raum 3

Raum 4

Dürfen e-Prüfungen eigentlich sein? 11

Diese Folien sind nur für den persönlichen Gebrauch bestimmt. Eine Weitergabe – auch auszugsweise - ist nicht gestattet.

Ausfall ... ?

ISO/IEC 27001

 IT

12

Client Client Client Client Client

Client

?

Testteilnehmer

Infrastruktur mit mehreren Instanzen

Administrator (IT, ...)

Server • Ressourcen • Klausuren • Verwaltungsdaten • Ergebnisse

Autor, Revisor (Doz., ...)

Verwaltung (ZPA, ...) 13

Prüfungsserver

Prüfung

Werden sich diese Prüfungen denn jemals durchsetzen? 14

Diese Folien sind nur für den persönlichen Gebrauch bestimmt. Eine Weitergabe – auch auszugsweise - ist nicht gestattet.

15

Diese Folien sind nur für den persönlichen Gebrauch bestimmt. Eine Weitergabe – auch auszugsweise - ist nicht gestattet.

Aufgabentypen

• Single-, Multiple Choice • SC, MC mit Ergänzung • Klassifikationsaufgabe • Zuordnungsaufgabe

50

30 20

• Markierungsaufgabe

10

• … 16

206

40

• Ordnungsaufgabe • Freitextaufgabe

Inhalte umsetzbar? [%]

112 85 42

0 keine nicht teilweise vollständig Meinung abbildbar abbildbar abbildbar

It‘s EEASy AS to begin. lectronic ssessment ervice • unverbindliche Beratung

40

• Schulung

30

• technischer Support

20

• Qualitätssicherung

10

• Evaluation • Durchführung • … 17

0

Bedarf [%] 76

163 128 76

Will überhaupt jemand e-Prüfungen haben? 18

Diese Folien sind nur für den persönlichen Gebrauch bestimmt. Eine Weitergabe – auch auszugsweise - ist nicht gestattet.

Prüfungserstellung in der Lehrveranstaltung „Informatik im Maschinenbau“

Aufwand pro Klausur: Aufgabenerstellung

19 Menschtage

2 Probeklausuren inkl. Anpassungen

25 Menschtage

Klausuraufsicht (13 Hörsäle à 2-3 Personen)

17 Menschtage

Klausurkorrektur (40 Personen à 5 Tage)

200 Menschtage

Σ Gesamtaufwand (MT: Ø 730 €)

261 Menschtage

19

© Institutscluster IMA/ZLW & IfU

Übertragung auf die Lehrveranstaltung „Kommunikation und Organisationsentwicklung“

Aufwand pro Klausur: Inhaltliche und elektr. Fragenpoolerstellung 1 Probeklausur inkl. Anpassungen Klausuraufsicht (5 Hörsäle à 3 Pers., 2 Tage) „Klausurkorrektur“ Σ Gesamtaufwand (MT: Ø 730 €)

20

© Institutscluster IMA/ZLW & IfU

80 Menschtage 3 Menschtage 30 Menschtage 0 Menschtage 113 Menschtage

Quantität vs. Qualität 21

Wie sollen e-Prüfungen denn eigentlich aussehen? 22

Diese Folien sind nur für den persönlichen Gebrauch bestimmt. Eine Weitergabe – auch auszugsweise - ist nicht gestattet.

23

Diese Folien sind nur für den persönlichen Gebrauch bestimmt. Eine Weitergabe – auch auszugsweise - ist nicht gestattet.

Halt! Was nur schlecht umsetzbar ist, sollte nicht in e-Prüfungen genutzt werden.

Formeleingabe? Diagrammerstellung? Was nicht umsetzbar ist, kann Zeichnen von Skizzen? nicht in e-Prüfungen genutzt Freitexte bewerten ? werden, aber kann in Form von Hybridprüfungen eingesetzt werden. Was zusätzlich umsetzbar ist, ist zum großen Teil noch nicht bekannt, aber spannend! 24

Key-Feature-Aufgaben n aufeinander aufbauende Fragen • nächste Frage erst sichtbar nach Bearbeitung der aktuellen Frage • einmal beantwortete Fragen können nicht mehr geändert werden Aufgabe 1

Aufgabe 2

Aufgabe 3

Patient: 32 J. Symptom: Husten Welche Fragen?  Raucher? X  Brustschmerzen? X  Hüftschmerzen?

Pat. ist NR, hat Schmerzen in Brust. Diagnostik?  Sonogramm  CT  MRT X

CT-Untersuchung: Schatten auf Lunge Therapie?  Überweisung FA  2 Aspirin  Notfall-OP

25

Anzahl richtiger Antworten

Sequenzieller Wahrscheinlichkeitstest Chronologie eines Tests Lerner ist ein Könner.

Lerner erhält weitere Frage Lerner ist ein Nichtkönner

Anzahl falscher Antworten 26

Virtuelle Mikroskopie

27

Aktive Audioprüfung Medizinische Terminologie: Sprach- und Sprechkompetenz Aufnahmesteuerung Führungstext Pegelanzeige

28

30

Butter bei die Fische: Müssen wir e-Prüfungen denn wirklich einsetzen? 31

Diese Folien sind nur für den persönlichen Gebrauch bestimmt. Eine Weitergabe – auch auszugsweise - ist nicht gestattet.

Nein, nicht unbedingt. Dozenten können Kompetenzen von Studierenden auch weiterhin klassisch bewerten.

Müssen

32

Eigentlich schon. Kompetenzen von Studierenden können mit e-Prüfungen ggf. valider bewertet werden.

e-Prüfungen passen einfach nicht überall.

Müssen

33

Eigentlich schon. Kompetenzen von Studierenden können mit e-Prüfungen ggf. valider bewertet werden.

e-Prüfungen passen einfach nicht überall.

Müssen Wollen e-Prüfungen sind mehr als „e“ und „Prüfung“. 34

Wie hat es eigentlich angefangen ... ? Elektronische Datenerfassung im Praktikum

Schriftliche Testate 1999

Elektronische adaptive Testate

Anfrage einer körperbehinderten Studentin

Online Prüfung 2003 36

Wie fiel das studentische Feedback aus? • „Klar strukturiert“ • „Ohne technische Kenntnisse bedienbar.“ • „Bedienoberfläche des Audiomoduls wirkt noch unfertig.“ • „Technische Ausstattung gut, aber hochwertige Headsets einsetzen zur Verhinderung akustischer Störung vom Nachbarn.“ • „Aufgabenstellungen sollten vorab eingeübt werden.“ • „Bitte für den Selbstlernbetrieb anbieten.“ 3

Erfahrungen  - Entwicklung  Software nicht intuitiv erlernbar für „OfficeNutzer“  Einarbeitung mit Handbuch über mehrere Wochen  Programmierkenntnisse erforderlich  Textformatierung durch HTML-Codes  Erstellung und Einbindung von Animationen  Probieren geht über Studieren…  geschultes Personal („Dauer“-Hiwi)  aufwändige Konzepterstellung für die39Klausur

Erfahrungen  - Entwicklung

mehr Sorgfalt bei der Konzept- und Aufgabenerstellung  Aufgabentypen kopierbar  Weiterentwicklung leicht  mehr Vielfalt bei der Aufgabenstellung



40

Voraussetzung für reibungslosen Ablauf - Team • genaue Kenntnis der Räumlichkeiten und der Ausstattung • Vertrauen in die Zuverlässigkeit von Hard- und Software • Vertrautheit mit der Funktion und den Problemen des Systems • schnelle und unaufgeregte Behebung auftretender Störungen  Durchführung einer Probeklausur unter realen Prüfungsbedingungen 41

Erfahrungen  - Ablauf  Software/Hardware erhielt die individuellen Klausurstände unter allen Bedingung sicher, wie  Browserfehler („Einfrieren“)  Browserschließen  Computer herunterfahren  Computer per Netzschalter ausschalten  Krisenmanagement einfach: ausschalten - (Platzwechsel) - neu starten  Entspannte Atmosphäre 42

Voraussetzung für reibungslosen Ablauf - Prüflinge • Vertrautheit mit den Eigenschaften und Funktionen des Online-Prüfungssystems  rechtzeitige Zurverfügungstellung einer Übungsklausur mit den vorkommenden Aufgabenarten (z.B. Einstellung ins Netz) • Vertrauen in Zuverlässigkeit des Systems  detaillierte Information über den Ablauf, mögliche Störfälle und deren Behebung  kompetentes Betreuungsteam, das Souveränität ausstrahlt 43

Zusammenfassung - Fazit • stabiles, sicheres und zuverlässiges System • Übungsprogramme in Netz einstellbar • hohe Akzeptanz bei den Prüflingen  Ablauf planbar  Routinesituation für Team und Prüflinge herstellbar  Einsatz zur individuellen Übung und Lernerfolgskontrolle sinnvoll und möglich

44

Szenario: Online Test (nur OPS)

Start Testdurch-

führung Anmeldung

Testteilnehmer 45

Prüfungssystem

Ergebnis speichern

Szenario: Online Test (OPS+Plattform)

Start Testdurch-

führung Anmeldung

Testteilnehmer 46

Link Lernportal OPS Ergebnis speichern

Szenario: Online Test (OPS+LMS mit SCORM) Personendate n übergeben SCORM Anmeldung

Testteilnehmer 47

Lernportal SCORM Ergebnisse übergeben

Start Testdurch-

führung OPS

Ergebnis speichern

Szenario: Offline-Test Weitergabe via E-Mail, USB-Stick, …

OfflineTest

Export

OPS Import

Start Testdurch-

Manage r

führung Anmeldung

Testteilnehmer 48

OfflineTest

Ergebnis speichern

Weitergabe via E-Mail, USB-Stick, …

Klassifikationstest M1 M 2 M 3 M4 Frage 1 Frage 2 Frage 3 … Frage m

x x

x x x x

x

x

Summe 2 4 0 2 %-Rang 25 50 0 25

49

Adaptiver Test: Sequenzieller Wahrscheinlichkeitstest Der Teilnehmer beantwortet solange Aufgaben, bis er als „Könner“ oder „Nichtkönner“ klassifiziert werden kann. Standard-Test z.B. 600 Fragen beim Progresstest der Mediziner Konstante Testlänge Adaptiver Test Variable Testlänge 50

Zeit

Prüfungen neu denken • Keyfeature-Aufgaben (Medizin→Ingenieurwiss.) • Kombination mit Anwendungssoftware (Office, Programmierumgebungen, ...) • Hybride Prüfungen • Fertigkeiten im Hörsaal prüfen

+ 51

=

Anzahl richtiger Antworten

Sequenzieller Wahrscheinlichkeitstest Chronologie eines Tests Lerner ist ein Könner.

Lerner erhält weitere Frage Minimalprüfung Lerner ist ein Nichtkönner

Anzahl falscher Antworten 52

Nachteile: • Unsicherheitsbereich • großer Aufgabenpool erforderlich Vorteile: • kürzere Testdauer • kleinerer Betreuungsaufwand (Aufsicht, Einsicht)

Speedtests Maximale Bearbeitungszeit pro Aufgabe. • anschließend nächste Frage – kein Zurück • tatsächliche Bearbeitungszeit kann protokolliert werden Speedtest – Prüfung

Zeit

53

Bisherige Erfahrungen der Umfrageteilnehmer mit e-Prüfungen 70 60 50 40 30 20 10 0

[%]

270

105

keine Erfahrung 54

informiert

70

führen bereits durch