E-Assessment und Bring Your Own Device im Informatik-Studium Fellowships für Innovationen in der digitalen Hochschullehre Bastian Küppers Stand: 18.09.2016 Inhaltsverzeichnis 1

Motivation ................................................................................................................ 1 Fachliche Motivation............................................................................................................................. 1 Persönliche Motivation ......................................................................................................................... 3

2

Forschungsvorhaben ............................................................................................. 4 Konzipierung der Prototypen ................................................................................................................ 4 Umsetzung der Prototypen................................................................................................................... 6

3

Verstetigung ............................................................................................................ 8

1

Motivation

Dem Trend der Digitalisierung in der Hochschullehre folgend, setzen Lehrveranstaltungen zunehmend auf digitale Angebote, wie z. B. die Verwendung von webbasierten Lernplattformen. Der Einsatz von digitalen Medien beschränkt sich dabei nicht nur auf die Vorlesungen. Auch in Übungen und Praktika werden, sofern es sich fachlich anbietet, zunehmend digitale Ansätze verfolgt. Ein Beispiel dafür sind Übungen, in denen Studierende Laptops oder Tablets verwenden dürfen. Wie das Hochschulforum Digitalisierung in einer Studie herausgefunden hat, ist dieser Trend jedoch noch nicht in vergleichbarer Stärke im Prüfungswesen verankert (1). Dies bedeutet einen Medienbruch zwischen den weitgehend digitalisierten Veranstaltungen und den analogen Prüfungen auf Papier.

Abbildung 1: Aktueller Fortschritt der Digitalisierung in der Hochschullehre

Dies hat oftmals Kostengründe, da eine zentrale Infrastruktur für digitale Prüfungen an einer Hochschule sehr kostspielig ist, wie verschiedene Hochschulen mit entsprechender Infrastruktur berichten (2) (3) (4). Da viele Studierende bereits eigene Geräte wie z.B. Laptops oder Tablets besitzen, ist eine mögliche Lösung dieser Problematik Bring Your Own Device (BYOD). Dabei verwenden die Studierenden ihre eigenen Geräte für die Prüfungen. Dadurch kann zum einen die Anschaffung und Wartung einer zentralen Infrastruktur entfallen, zum anderen können die Studierenden die Prüfungen mit gewohnten Geräten ablegen. Grundsätzlich gibt es verschiedene Ansätze, wie BYOD realisiert werden kann (5), welche sich in der genauen Ausgestaltung unterscheiden. Hinsichtlich der deutschen Gesetzeslage gibt es dabei einige Rahmenbedingungen zu beachten, wie z.B. die Gleichbehandlung aller Studierenden während einer Prüfung.

Fachliche Motivation Speziell im Informatik-Bereich würden digitale Prüfungen durch Schaffung einer realistischeren Prüfungssituation einen deutlich Gewinn bedeuten – sowohl für Studierende, als auch für Lehrende. Die folgenden Abschnitte beschreiben kurz die einzelnen Vorteile,

E-Assessment und Bring Your Own Device im Informatik-Studium

Seite 1 von 16

wobei für konkrete Beispiele Programmierveranstaltungen liegt.

der

Fokus

speziell

auf

Prüfungen

in

Verwendung domänenspezifischer Werkzeuge Parallel zu Vorlesungen finden oft Übungen und Praktika statt, in denen bereits domänenspezifische Werkzeuge eingeführt und verwendet werden, welche ebenso in der Prüfung zum Einsatz kommen können. In Programmierveranstaltungen sind dies üblicherweise Programmierumgebungen und Entwicklungswerkzeuge, wie z.B. Debugger. Diese Werkzeuge sind auch Teil des späteren Arbeitsalltages der Studierenden, sodass eine deutlich realistischere Prüfungssituation geschaffen wird. Vereinfachte Korrektur Dieselben Werkzeuge stehen auch den Lehrenden bei der Korrektur einer Prüfung zur Verfügung, was den Arbeitsaufwand deutlich reduziert (6). Teile der Prüfungen können sogar semi-automatisch korrigiert werden. Auch der Aufwand für die Korrektur der nicht automatisiert auswertbaren Teile einer Prüfung kann reduziert werden, da die Lesbarkeit der Abgabe im Vergleich zu handschriftlichen Abgaben deutlich gesteigert wird. Höheres Prüfungsniveau Durch die Bereitstellung domänenspezifischer Werkzeuge kann das Niveau der prüfbaren Inhalte gesteigert werden. Orientiert man sich an der Lernzieltaxonomie von Bloom (7) bzw. der revidierten Version von Krathwohl (8), so wird es möglich die komplexeren Leistungen der Taxonomie, wie Evaluation und Synthese, deutlich realistischer und gezielter zu prüfen. Beispielsweise können in Programmierprüfungen umfangreichere Programme entwickelt werden, als es ohne die Verwendung von Programmierumgebung und Debugger möglich ist. Dies wird ermöglicht, da Basisaufgaben der Programmierung, z.B. Formatierung von Code, durch die Werkzeuge verrichtet werden, sodass die Studierenden ihre Aufmerksamkeit auf die tatsächliche Problemstellung richten können. Dies entspricht auch der Vorgehensweise im späteren Berufsalltag, prüft also deutlich gezielter die Kompetenzen, welche im Arbeitsleben benötigt werden.

E-Assessment und Bring Your Own Device im Informatik-Studium

Seite 2 von 16

Abbildung 2: Revidierte Lernzieltaxonomie nach Krathwohl

Innovative Prüfungsformate Durch den Einsatz digitaler Prüfungen wird es möglich innovative Prüfungsformate zu entwickeln. In Programmierveranstaltungen können beispielsweise innovative Vorgehensweisen der Software-Entwicklung, wie z.B. Test Driven Development (9) oder andere agile Methoden in einer Prüfung abgefragt werden.

Persönliche Motivation Schon während meiner eigenen Zeit als Student war mir nur schwer begreiflich, warum Prüfungen in Fächern der Informatik auf Papier abgelegt werden sollten, wenn der Einsatz des Computers in der Prüfung sich doch geradezu aufdrängt. Nach Abschluss meines Masterstudiums begann ich ein Promotionsstudium an der RWTH Aachen und trat eine Stelle als wissenschaftlicher Mitarbeiter am IT Center der RWTH Aachen an. Im Rahmen dessen begann ich IT-Vorlesungen für duale Studierende des Studiengangs „Scientific Programming“, welche parallel zu Mathematisch-technische Softwareentwicklern (10) ausgebildet werden, zu halten. Doch auch der „Seitenwechsel“ und die damit verbundenen Einblicke in die Gestaltung, Durchführung und Korrektur von Prüfungen im InformatikBereich machten mir das Schreiben der Prüfungen auf Papier nicht einleuchtender – wohl aber die Kostenproblematik der Bereitstellung geeigneter Infrastruktur für digitale Prüfungen. Daher begann ich mich im Rahmen meines Promotionsprojektes in der Learning Technologies Research Group unter der Leitung von Prof. Ulrik Schroeder mit möglichen Lösungsansätzen zu beschäftigen. Für eben dieses Promotionsprojekt erhoffe ich mir durch Austausch mit anderen Fellows wertvolle Rückmeldungen und weitere Ideen - speziell mit langfristiger Perspektive - aus anderen Fachbereichen und Hochschulen zu erhalten.

E-Assessment und Bring Your Own Device im Informatik-Studium

Seite 3 von 16

2

Forschungsvorhaben

Wie eingangs bereits erwähnt, gibt es generell mehrere Möglichkeiten einen BYOD-Ansatz zu realisieren. Die einzelnen Möglichkeiten unterscheiden sich voneinander in der Art, wie die Geräte der Studierenden eingesetzt werden. Grundsätzlich kann dabei unterschieden werden, welche Software auf den Geräten der Studierenden eingesetzt wird und wie die Geräte der Studierenden vernetzt werden. Mit dem Fokus auf Prüfungen in der Informatik, ergibt sich daraus die Frage, welcher Ansatz in diesem Kontext am besten geeignet ist, da Computer und Laptops hier vielmehr der Prüfungsgegenstand selbst, als ein bloßes Werkzeug sind. Zudem soll die Frage beantwortet werden, inwiefern jeder Ansatz die Gleichbehandlung der Studierenden während der Prüfung gewährleisten kann. Um diese Fragen beantworten zu können, sollen geeignet erscheinende BYOD-Ansätze prototypisch implementiert und anschließend in einer Studie von Studierenden getestet und bewertet werden. Dabei soll sowohl die Perspektive des Lehrenden, als auch die Akzeptanz unter den Studierenden evaluiert werden. Der Fokus soll dabei zunächst auf ProgrammierPrüfungen liegen, da dies der nächstliegende und am weitesten verbreitete Anwendungsfall ist. Als Testgruppe sollen Studierende der Studiengänge Informatik und Scientific Programming dienen, um ein möglichst repräsentatives Gesamtbild zu bekommen. Als Größe der Testgruppe werden 100 Teilnehmer avisiert. Dies ist nach Kauermann und Küchenhoff (11) hinsichtlich der Studierendenzahlen in diesen Studiengängen (12) (10) eine annehmbare Größe, um die Ergebnisse der Studie hinsichtlich der weiteren Entwicklung des Projektes verwerten zu können.

Konzipierung der Prototypen Alle Prototypen sollen den Zugriff auf ein speziell für Prüfungen konzipiertes WLAN ermöglichen. Außerdem müssen Ersatzgeräte vorgehalten werden, da es trotz oder gerade wegen des BYOD-Ansatzes immer dazu kommen kann, dass eines der Geräte der Studierenden ausfällt. Um in diesem Fall die Arbeitsumgebung so gewohnt wie möglich zu halten, soll auf eine cloudbasierte Entwicklungsumgebung gesetzt werden, welche von jedem beliebigen Gerät aus angesprochen werden kann WLAN Die Bereitstellung eines speziell für Prüfungen konzipierten WLANs hat primär den Grund, dass der Netzwerkzugriff der Studierenden bis zu einem gewissen Grad kontrolliert werden kann. Zum Beispiel kann eine direkte Verbindung zwischen zwei Geräten innerhalb des WLANs verhindert werden oder es kann nur der Zugriff auf bestimmte Internetseiten, wie z.B. das Learning Management System (LMS) der Hochschule, erlaubt werden. Für die Prototypen soll dafür ein eigenes WLAN aufgesetzt werden. Langfristig sollte solch ein Ansatz jedoch in die Netz-Infrastruktur der Hochschule integriert und die Bereitstellung eines geeigneten Netzes auf logischer Ebene der vorhandenen Infrastruktur umgesetzt werden. Cloudbasierte Entwicklungsumgebung

E-Assessment und Bring Your Own Device im Informatik-Studium

Seite 4 von 16

Die Verwendung einer cloudbasierten Entwicklungsumgebung soll auf mehrere Aspekte abzielen. Zum einen soll sie eine Möglichkeit bereitstellen, ohne Verlust von Daten das Gerät zu wechseln, wenn das eigene Gerät während der Prüfung nicht weiterverwendet werden kann. Zum anderen soll der Gleichbehandlung Rechnung getragen werden, da die Entwicklungsumgebung vom Gerät der Studierenden entkoppelt wird und somit Ressourcenunterschiede zwischen diesen Geräte nichtig gemacht werden. Als Entwicklungsumgebung soll Eclipse Che1 verwendet werden. Ob sich Che als Entwicklungsumgebung für digitale Prüfungen eignet oder ob nach einer Alternative gesucht werden muss, soll ebenfalls in der Studie evaluiert werden. Innerhalb der vorstehend beschriebenen Rahmenbedingungen, sollen drei verschiedene

Abbildung 3: Geplante Hardware-Infrastruktur

Szenarien getestet werden, die nachfolgend beschrieben werden. Ansatz 1: Keine Einschränkungen Der erste Ansatz erlaubt den Studierenden, ihre Geräte ohne weitere Einschränkung mitzubringen und zu verwenden. Dies bietet den Studierenden eine vollständig bekannte Arbeitsumgebung während der Prüfung, eröffnet auf der anderen Seite aber auch die Möglichkeit das Gerät vor der Prüfung mit unerlaubten Hilfsmitteln zu präparieren, z.B. durch Aufspielen von Foliensätzen, Skripten oder Ähnlichem. Um dies zu unterbinden, muss ein erhöhtes Maß an Aufsichten in der Prüfung sichergestellt oder die Prüfung als Open-BookPrüfung konzipiert werden. Ansatz 2: Lockdown Der zweite Ansatz gibt den Studierenden den Einsatz einer sogenannten LockdownSoftware vor. Diese hindert die Studierenden während der Prüfung daran, unerlaubte Handlungen, wie z.B. das Öffnen eines Foliensatzes, vorzunehmen. Gleichzeitig werden aber wichtige Merkmale des Gerätes beibehalten, wie z.B. das geladene Tastaturlayout und die Geschwindigkeit des Mauszeigers. Prinzipiell gibt es bereits frei verfügbare Lockdown-

1

https://www.eclipse.org/che/

E-Assessment und Bring Your Own Device im Informatik-Studium

Seite 5 von 16

Software, wie z.B. den Safe Exam Browser2 der ETH Zürich oder LockDown Browser3 der Firma Respondus. Beide sind jedoch nur für Windows und MacOS verfügbar und nicht für linuxbasierte Betriebssysteme. Der LockDown Browser ist zudem nicht frei verfügbar, sondern muss vor Verwendung lizensiert werden. Aus diesem Grund wird für die Umsetzung der Prototypen eine portable, plattformübergreifende Lösung entwickelt, welche auf jedem System, unabhängig von den vorhandenen Nutzerrechten, lauffähig sein soll. Ansatz 3: Live-Betriebssystem Der dritte Ansatz gibt den Studierenden den Einsatz eines bereitgestellten Betriebssystems vor. Dieses muss vor der Prüfung von einem USB-Stick oder einem anderen Datenträger geladen werden. Die Studierenden verwenden in diesem Fall also nur ihr gewohntes Gerät, nicht aber ihre gewohnte Arbeitsumgebung. In diesem Fall wird sehr effektiv der Einsatz von unerlaubten Hilfsmitteln verhindert, da die Arbeitsumgebung der Studierenden vollständig vorgegeben ist. Aus lizenzrechtlichen Gründen wird hierfür auf eine Linux-Distribution gesetzt, welche kostenfrei verfügbar ist und eine einfache Bedienbarkeit ermöglicht, sodass der Wechsel von anderen Betriebssystemen auf das Linuxsystem während der Prüfung reibungsarm von statten geht. Geeignete Kandidaten sind Linux Mint4, oder OpenSUSE5.

Umsetzung der Prototypen Zur Realisierung der hier dargestellten prototypischen Szenarien müssen mehrere Komponenten angeschafft bzw. entwickelt werden.

2

http://safeexambrowser.org/ http://www.respondus.com/products/lockdown-browser/ 4 https://www.linuxmint.com/ 5 https://de.opensuse.org/ 3

E-Assessment und Bring Your Own Device im Informatik-Studium

Seite 6 von 16

Hardware Für alle Ansätze der Prototypen, muss Hardware für das WLAN sowie den Betrieb der cloudbasierten Entwicklungsumgebung angeschafft werden. Nach dem Vortrag „Aufbau einer High-Density WLAN-Infrastruktur für Hochschullehre und Veranstaltungen“ von Markus Speer und Andre Forsmann auf dem 9. DFN-Forum Kommunikationstechnologien (13), eignet sich für das WLAN die Verwendung eines Cisco C2700 Access Points oder eines ähnlichen Produkts. Zusätzlich zum Access Point selbst muss noch ein Servermodul für die Steuerung und das Management des WLANs angeschafft werden. Für den Betrieb der cloudbasierten Entwicklungsumgebung muss ein Server angeschafft werden, der leistungsfähig genug ist, um den Studierenden während der Studie das reibungslose, parallele Arbeiten zu ermöglichen. Der Dokumentation von Eclipse Che zu Folge, ist für jeden so genannten Workspace – also für die Arbeitsumgebung jedes Benutzers - eine Speicherauslastung von 2 Gigabyte Arbeitsspeicher (RAM) als realistisch anzusehen. Das bedeutet, dass für jeden Testnutzer mindestens diese 2 Gigabyte RAM zur Verfügung stehen müssen. Daher sind für die Studie, bei der 100 Studierende parallel die cloudbasierte Entwicklungsumgebung nutzen sollen, mindestens 200 Gigabyte RAM notwendig. Damit die Benutzer bei allen Aktionen, die eine Interaktion mit dem Server notwendig machen, nicht auf die Reaktion des Servers warten müssen, ist ebenfalls eine entsprechend große Anzahl von Prozessorkernen notwendig, damit parallele Anfragen auch parallel bearbeitet werden können. Für den dritten Ansatz, bei dem den Studierenden während der Prüfung ein LiveBetriebssystem zur Verfügung gestellt wird, müssen zudem noch hinreichend performante USB-Sticks angeschafft werden, damit der Arbeitsfluss der Studierenden nicht durch zu geringe Lese- bzw. Schreibraten des USB-Sticks ausgebremst werden. Hinsichtlich potenzieller Erweiterungen des Prüfungsszenarios, sollte das Speichervolumen des USBSticks ausreichend dimensioniert sein, um das Betriebssystem selbst sowie domänenspezifische Softwaretools speichern zu können. Es muss ebenfalls berücksichtigt werden, dass die Ergebnisse der Studierenden auf dem USB-Stick (zwischen-)gespeichert werden müssen. Je nach Prüfungsformat können die Ergebnisse auch eine nicht unerhebliche Speichergröße erreichen, sodass genügend Speicher vorgehalten werden muss. Nicht zuletzt muss der Formfaktor der USB-Sticks robust genug sein, um den Einsatz in einem Prüfungsszenario unbeschädigt zu überstehen. Software Für das zweite Szenario muss zudem noch eine Software entwickelt werden, welche das beschriebene Lockdown in einer Art und Weise umsetzt, die für eine Prüfung geeignet ist. Das heißt, dass alle verbreiteten Betriebssysteme (Windows, MacOS, Linux) unterstützt werden. Um dies zu gewährleisten wird auf eine Lösung mit NodeJS 6 und Electron7 für die Implementierung des Frontends gesetzt. Zur Umsetzung der Lockdown-Funktionalität muss für jede Plattform eine eigene Bibliothek entwickelt werden, die an die Eigenschaften und die Architekturen des jeweiligen Systems angepasst ist. Somit wird Coderedundanz auf ein Minimum reduziert und der Wartungs- und Weiterentwicklungsaufwand möglichst gering gehalten. Zusätzlich zur Plattformunabhängigkeit, soll die Software wie eine portable Software in jedem Fall lauffähig sein. Um das zu gewährleisten muss die Software ohne 6 7

https://nodejs.org http://electron.atom.io/

E-Assessment und Bring Your Own Device im Informatik-Studium

Seite 7 von 16

Administratorrechte lauffähig sein, da nicht garantiert werden kann, dass alle Studierenden über diese Rechte auf ihrem Gerät verfügen. Dies könnte z.B. der Fall sein, falls Ihnen ein Gerät ihm Rahmen eines Werksstudentenvertrages gestellt wird.

3

Verstetigung

Die in der Studie gewonnenen Ergebnisse sollen anschließend in die Entwicklung einer digitalen Prüfungsumgebung einfließen, welche den Ausgangspunkt für ein erweiterbares Prüfungsframework. Darstellen. Dabei soll der Fokus zunächst auf Prüfungen in der Programmierung bleiben. Dieses Framework soll jedoch langfristig auch die Möglichkeit zur Integration weiterer Aufgabentypen bieten, sodass die Anwendbarkeit nicht nur auf Prüfungen im Fach Informatik festgelegt ist, sondern auch digitale Prüfungen in anderen Fächern ermöglicht. Dies kann beispielsweise durch die Verwendung von CAD Programmen bei Maschinenbauern oder Architekten realisiert werden. Um die Integration in bestehende eLearning-Infrastrukturen zu ermöglichen, soll das Prüfungsframework externe Schnittstellen bereitstellen. Dadurch ist eine Einbindung in verschiedene LMS, wie z.B. Moodle8 oder ILIAS9, möglich. Ebenso können Daten aus diesen LMS im Prüfungsframework verwendet werden, um Abläufe zu automatisieren, z.B. könnten alle Teilnehmer einer Veranstaltung automatisch zur entsprechenden Prüfung hinzugefügt werden. Durch diese Schnittstellen wird es möglich, das Prüfungsframework mit vertretbarem Zusatzaufwand als Ergänzung zu den bisherigen eLearning-Maßnahmen zu nutzen. Somit ist die Hürde für Lehrende niedrig, was die Akzeptanz des Prüfungsframeworks unter den Lehrenden potenziell positiv beeinflusst. Im Rahmen eines an der RWTH Aachen geplanten Netzausbauantrages, dessen Ziel es ist, die vorhandenen WLAN-Kapazitäten zu vervielfachen und eine flächendeckende, performante Netzabdeckung zur Verfügung zu stellen, könnte außerdem das speziell für Prüfungen konzipierte WLAN nahtlos und nachhaltig in die bestehende Infrastruktur eingebunden werden.

Literaturverzeichnis 1. hochschulforum digitalisierung. E-Assessment als Herausforderung. s.l. : Edition Stifterverband Verwaltungsgesellschaft für Wissenschaftspflege mbH, 2015. ISSN 2365-7081. 2. Biella, Daniel, et al. Organisation und Implementierung PC-gestützter Prüfungen an der Universistät Duisburg-Essen. [Online] 2010. [Zitat vom: 27. 07 2016.] https://www.eteaching.org/etresources/pdf/erfahrungsbericht_2010_biella-huth-striewe-kohnen-dreibholzbecke_organisation-und-implementierung-pc-gestuetzter-pruefungen.pdf. 3. Biella, Daniel, Engert, Steffi und Huth, Dieter. Design and delivery of an E-assessment solution at the University of Duisburg-Essen. [Online] 2009. [Zitat vom: 27. 07 2016.] https://www.unidue.de/imperia/md/content/zim/veranstaltungen/eunis_09_e-assessment.pdf.

8 9

https://moodle.org/ http://www.ilias.de/

E-Assessment und Bring Your Own Device im Informatik-Studium

Seite 8 von 16

4. Bücking, Jens. eKlausuren im Testcenter der Universität Bremen - Ein Praxisbericht. [Online] 2010. [Zitat

vom:

27.

07

2016.]

https://www.campussource.de/events/e1010tudortmund/docs/Buecking.pdf. 5. Küppers, Bastian und Schroeder, Ulrik. Bring you own device for e-Assessment - A Review. EDULEARN16 Proceedings. Barcelona, Spain : IATED Academy, 2016. ISSN: 2340-1117. 6. Jara, Nicole und Madrid, Manuel Molina. Bewertungsschema für eine abgestufte Bewertung von Programmieraufgaben. Proceeding der 13. E-Learning Fachtagung Informatik (DeLFI 2015). München : DeLFI, 2015. S. 233-240. 7. Bloom, Benjamin S. Taxonomie von Lernzielen im kognitiven Bereich. Weinheim und Basel : Beltz Verlag, 1976. ISBN 3-407-18296-1. 8. Krathwohl, David R. A Revision of Bloom's Taxonomy: An Overview. Theory into Practice. 2002, Bd. 41, 4. 9. Beck, Kent. Test-driven development by example. Boston : Addison Wesley, Pearson Education, 2014. ISBN 978-0321146533. 10. Küppers, Bastian, et al. The Scientific Programming Integrated Degree Program – A Pioneering Approach to join Theory and Practice. Procedia Computer Science. Online : Elsevier, 2016. Bd. 80. ISSN: 1877-0509. 11. Kauermann, Göran und Küchenhoff, Helmut. Stichproben. Berlin, Heidelberg : Springer, 2011. 978-3-642-12318-4. 12. University, RWTH Aachen. Datenblatt Studierende WS 2015/16. Aachen : RWTH Aachen University, 2015. 13. Speer, Markus und Forsmann, Andre. Aufbau einer High-Density WLAN-Infrastruktur für Hochschullehre und Veranstaltungen. 9. DFN-Forum Kommunikationstechnologie. Rostock : s.n., 2016.

E-Assessment und Bring Your Own Device im Informatik-Studium

Seite 9 von 16