Auf zu neuen Ufern! – Rückschau auf das Symposium „Analog | Digital | Integriert: Kompetenzorientiertes Prüfen der Zukunft“

Am 4./5.5.2023 fand das Symposium “Analog | Digital | Integriert: Kompetenzorientiertes Prüfen der Zukunft” statt, das sich in zweifacher Hinsicht unter dem Motto “Auf zu neuen Ufern!” zusammenfassen lässt: Organisatorisch durch die Kombination eines eintägigen Retreats auf einer Schifffahrt von Regensburg nach Passau mit einer “klassischen” Konferenz mit Keynotes und Podiumsdiskussion an der Universität Passau. Inhaltlich durch die intensive Diskussion zukunftsfähiger Konzepte für konkrete E-Prüfungsszenarien.

Strahlender Sonnenschein und schwankende Schiffsplanken – das weckt vermutlich nicht unmittelbar Assoziationen an ein Symposium. Genau diese Kulisse aber bot am 4. Mai 2023 das „ScholarSHIP“, das sich auf eine Reise entlang der Donau von Regensburg nach Passau machte, für eine Tagung der besonderen Art. An Bord gingen über 100 Lehrende in 27 Teams aus 12 Hochschulen und Universitäten. Im Gepäck hatten sie im Vorfeld eingereichte Problemstellungen zu ihren konkreten Prüfungsszenarien. Mit an Bord war außerdem ein Team aus Expert:innen, um zu didaktischen, rechtlichen und organisatorischen Aspekten mit Rat und Tat zur Seite zu stehen.

Digitale Prüfungen kompetenzorientiert gestalten

Das Themenspektrum war dabei breit gestreut. Die Fragestellungen reichten von E-Portfolios bis zu digitalen Klausuren in Präsenz, von Fragen zu notwendigen Vorkenntnissen bis hin zu digitalen Archivierungen. Abbildung 1 zeigt als Wortwolke die wichtigsten Schlagwörter der behandelten Fragestellungen.

In vier Sprints wurden die Themenstellungen systematisch analysiert und bearbeitet. Schnell zeigte sich, dass eine direkte 1:1 Übertragung von analogen Prüfungen in den digitalen Raum schwer möglich ist. Für jede Prüfungssituation muss daher die Frage gestellt werden: Wo und in welchem Ausmaß bin ich bereit, Veränderungen einzugehen?

Die Herausforderungen sind groß

Bei der ersten Analyse der eingereichten Fragestellungen wurde klar: An vielen Orten sind technische und organisatorische Hürden zu überwinden, die einer flächendeckenden Einführung von E-Prüfungen im Wege stehen. Insbesondere zwei Punkte wurden immer wieder genannt: (1) Es fehlen vielerorts ausreichend große Prüfungsräume für Prüfungen in Massenstudiengängen. Gleichzeitig reicht die WLAN-Verbindung in Hörsälen häufig nicht aus, um E-Prüfungen mit eigenen Geräten (“bring your own device”) durchführen zu können. (2) Lehrende erhalten häufig zu wenig technische und didaktische Unterstützung bei der Umstellung von analogen auf digitale Prüfungsformate.

Viele Fragen blieben trotz intensiver Diskussion mit den Expert:innen ungeklärt, so z.B. 

• Wie müssen digitale Artefakte (z.B. Videos) archiviert werden?
• Wie können Lehrbeauftragte bei Prüfungen mit hohem Entwicklungsaufwand mit einbezogen werden?
• Welche (neuen?) Kompetenzen brauchen Lehrende für digitale Prüfungen?

Die Lösungsmöglichkeiten sind vielfältig

Für die meisten Fragestellungen wurden aber praktikable Lösungen entwickelt, u.a. für die folgenden drei Fragen.

Wie schaffe ich in E-Prüfungen bei randomisierten Aufgaben eine Vergleichbarkeit hinsichtlich Schwierigkeitsgrad und Lernziel?

Häufig wird für E-Prüfungen auf einen Fragenpool zurückgegriffen. Dabei ist es nicht einfach sicherzustellen, dass die gestellten Aufgaben auch tatsächlich vergleichbar sind. 
Mitarbeiter der Ruhr-Universität Bochum entwickelten den folgenden Weg: Sie ordnen anhand einer Matrix die einzelnen Aufgaben verschiedenen Lernzielen zu. Zusätzlich werden die Aufgaben nach den jeweiligen Stufen in einer Lernzieltaxonomie kategorisiert. Dies ermöglicht, dass über Clusterstichproben alle Studierenden mit vergleichbar komplexen Aufgaben getestet werden.

Wie motiviere ich Studierende, während des gesamten Semesters zu lernen?

Ein Team der Universität Bayreuth hat sich mit einem grundsätzlichen Problem mit Prüfungen beschäftigt: dem Bulimie-Lernen am Ende des Semesters. Sie wollen mit Übungsblättern die Motivation von Studierenden für gleichmäßiges Lernen über das ganze Semester hinweg aufrechterhalten. Für erfolgreich abgegebene Aufgaben erhalten die Studierenden Bonuspunkte, die am Ende in das Prüfungsergebnis einfließen.

Wie kann ich eine Demokratisierung von Leistungsmessungen schaffen?

Die Antwort eines Teams der TU München lautet: Collective Exams. Studierende entwickeln dabei Prüfungsaufgaben für andere Studierende. Dadurch ist der Prüfungsprozess auch Teil des Lernprozesses. Denn bei der Auswahl und Formulierung der Prüfungsaufgaben wird nicht nur ein Perspektivwechsel ermöglicht. Studierende erwerben durch die systematische Rekapitulation des Lernstoffs selbst neue Kompetenzen. 

Jenseits von konkreten Prüfungssituationen zeichnen sich folgende Lösungen ab:

• Online-Open-Book-Formate mit strikter Bearbeitungszeit sind in vielen Fächern ein gangbarer Weg, um komplexere Kompetenzen (z.B. Auswertung einer qualitativen Studie) anwendungsorientiert zu testen. 
• Für die Prüfung von Grundlagenwissen kehren angesichts von ChatGPT viele Fakultäten zu Präsenzklausuren zurück.
• E-Portfolios scheinen als kompetenzorientierte Prüfungsform gut geeignet, verlangen aber massive curriculare Umstellungen und einen hohen Personalschlüssel zur Korrektur. 

Zwei vielleicht zentrale Grundsätze zur kompetenzorientierten Gestaltung von E-Prüfungen formulierte ein Team aus der Hochschule Offenburg

1. Mach es einfach: Beginne mit kleinen Umstellungen und entwickle diese stetig weiter.
2. Rede drüber: Tausche dich mit Kolleg:innen aus und komm ins Gespräch über Prüfungen.

Prüfen der Zukunft und die Rolle der KI – Betrachtung aus zwei Perspektiven

Am zweiten Tag der Tagung an der Universität Passau nahmen Prof. Dr. Siegfried Handschuh und Prof. Dr. Sabine Seufert (beide Universität St. Gallen) in ihrer Doppelkeynote den Aspekt der KI im Zusammenhang mit Prüfungen in den Fokus. Handschuh näherte sich diesem Thema aus technischer Sicht, im Anschluss beschäftigte Seufert sich u.a. mit der Frage, welche Kompetenzen auf Seiten der Studierenden im Umgang mit generativer KI erforderlich sind.

Die KI hat großes Potential zur Unterstützung der Bewertungsaufgaben

In seiner Keynote stellte Prof. Dr. Siegfried Handschuh nach einer kurzen Einführung in die technische Funktionsweise generativer KI ein Assessment-Experiment mit ChatGPT (Projekt “Ananda”) vor. Es handelt sich dabei um eine Laborstudie, mit der erhoben werden sollte, inwieweit Kurzaufgaben automatisiert mittels generativer KI bewertet werden können. Es wurden dabei Kurzantworten von Studierenden (N=2273) automatisch durch LLM (Large Language Model) im Vergleich zu zwei menschlichen Gutachtern bewertet. Als Ergebnis zeigt sich, dass sich die KI insgesamt nicht schlechter als die menschlichen Gutachter verhält. Bei einer Bandbreite +/- einem Punkt ist eine Übereinstimmung der KI und dem Durchschnitt der beiden menschlichen Gutachter von 72,55% vorhanden.

Für Handschuh sind vor allem zwei Ergebnisse dieser Studie interessant: 1. Die beiden menschlichen Gutachter:innen stimmen nur mäßig überein. 2. Insgesamt verhält sich die KI nicht schlechter als die menschlichen Bewerter:innen. Es deutet also viel darauf hin, dass man Kurzaufgaben durch KI sehr gut automatisch bewerten kann mit dem zusätzlichen “Bonus”, das die KI deterministischer ist: Würde man mehrere Durchläufe machen, bekäme man mit der KI immer sehr ähnliche Bewertungen, was bei menschlichen Gutachter:innen nicht so sicher wäre.

Die KI sollte als Partner gesehen werden

Prof. Dr. Sabine Seufert skizzierte zu Beginn ihres Vortrags den aktuellen Status Quo von KI in der Bildung. Ihrer Einschätzung nach beginnt sich gerade die zweite Welle der Digitalisierung (KI, Natural Language Processing) an den Hochschulen durchzusetzen, was u.a. Auswirkungen auf Ziele und Inhalte (Computer als Assistenzsystem, Partner), Methoden und Lernformen (KI-basierte Methoden und Tools für personalisiertes Lernen, z.B. Echtzeit-Feedback) sowie Lernräume (Smarte Lernräume, Mixed Realities) hat. Seufert plädiert für eine Zusammenarbeit von Mensch und KI (“hybride Intelligenz”). Sie sieht großes Potential in einer gelungenen Partnerschaft von Mensch und Maschine in der Hochschullehre, in der der Mensch weiterhin die Hoheit behält (z.B. bei der Bewertung von Kompetenzen, der emotionalen und motivationalen Förderung oder auch dem Umgang mit Konflikten) und die KI als Assistent für Entlastung sorgt (z.B. bei Routineentscheidungen, einfachen Empfehlungen für Inhalte, Generierung von Quizzes…). 

Ein so gestaltete Partnerschaft könnte sich bei Prüfungen z.B. zeigen in der gemeinsamen Erstellung von Prüfungsaufgaben, KI-basierten Korrekturhilfen oder auch Analytics für adaptives Coaching.

Anschließend fokussierte Seufert auf den Aspekt der Kompetenzen im Umgang mit generativer KI: 

1. Studierende müssen Strategien für den kompetenten Umgang mit KI erwerben. Dazu gehören u.a. Prompting Skills. Je besser die Eingaben (Prompts) sind, desto besser sind die von der KI generierten Outputs (metakognitives Wissen).
2. Generative KI-Systeme unterstützen den Expertiseaufbau. Durch die Nutzung der KI ist sehr genau definierbar, was geprüft werden soll (z.B. fachspezifisches Wissen; Schreibkompetenz), aber auch, was weniger wichtig ist. Hier werden Studierende explizit ermuntert, generative KI-Systeme zu nutzen. Damit können Kompetenzen auf einem höheren Niveau abgeprüft werden, u.a. auch dadurch, dass weniger wichtige Aufgaben an die KI abgegeben werden. Außerdem funktioniert die KI wie ein Assistenzsystem, mit dem personalisiert Schritt-für-Schritt die Expertise des/der Einzelnen aufgebaut werden kann.

Zum Abschluss ihres Vortrags nahm Seufert Stellung zu dem aktuell erkennbaren Trend, dass Lehrende auf mündliche Prüfungen umsteigen. Sie sprach sich explizit gegen diesen Umstieg aus und begründete dies mit sich daraus ergebenden neuen Problemen (u.a. mangelnde Objektivität und Validität; Halo-Effekt) sowie einem Genrewechsel, der sich im Prüfen anderer Kompetenzen darstellt. Sie empfiehlt stattdessen den Lehrenden, sich zu überlegen, wie sie ihre Prüfungen so umstellen können, dass die Verwendung von KI-Tools möglich bzw. sogar erwünscht ist.

Fazit

Um mit der Schiffsmetapher zu enden, noch zwei Gedanken zum Schluss:

1. Bis zu einer flächendeckenden Implementierung von digitalen und kompetenzorientierten Prüfungen fließt noch viel Wasser die Donau hinunter.
2. KI ist gefühlt recht plötzlich wie ein Gewittersturm über der Hochschulwelt aufgezogen, dem man nicht ausweichen kann. Sie fordert Hochschullehrende heraus, auf die veränderten Bedingungen zu reagieren, z.B. durch einen Kurswechsel nicht nur, aber vor allem auch beim Thema Prüfen.

---

Vorschlag zur Zitation des Blogbeitrags: Bachmaier, R. & Hawelka, B. (2023, 1. Juni). Auf zu neuen Ufern! – Rückschau auf das Symposium „Analog | Digital | Integriert: Kompetenzorientiertes Prüfen der Zukunft“. Lehrblick – ZHW Uni Regensburg. https://doi.org/10.5283/zhw/20230601.DE