ChatGPT und die Zukunft von Prüfungen

ChatGPT-3 ist seit dem 30. November 2022 frei verfügbar. Seitdem werden zunehmend Befürchtungen laut, dass Studierende nun einfach und mit minimalem Aufwand in der Lage seien, KI-gestützte schriftliche Arbeiten zu verfassen, was den Wert ihres Hochschulabschlusses schmälern würde. Kate Lindsay diskutiert in diesem Beitrag verschiedene Szenarien, wie die Zukunft von Prüfungen angesichts von ChatGPT aussehen könnte.

In den letzten Wochen ist eine Fülle von Artikeln und Leitfäden erschienen, in denen Ratschläge gegeben werden, wie man mit dieser neuen Herausforderung für die akademische Integrität und Qualität umgehen könnte. Und gewissermaßen, um den Beweis anzutreten, wurden tatsächlich einige dieser Beiträge von ChatGPT selbst verfasst (Cotton, Cotton & Shipway, 2023).

Universitäten haben auf technische Neuerungen oftmals zurückhaltend reagiert. Und es sieht so aus, als ob sich die Geschichte einmal mehr wiederholt: In den 1990er Jahren schienen die Hochschulen und der Beruf der Hochschuldozierenden aufgrund der zunehmenden Beliebtheit des Fernstudiums von der Auflösung bedroht (Eamon, 1999). Die gleiche Situation wiederholte sich 30 Jahre später, als der Unterricht während der COVID-19-Pandemie in den Online-Raum verlagert wurde. Ganz zu schweigen von Technologien wie der Aufzeichnung von Vorlesungen, der man nachsagte, dass sie die Studierenden aus den Hörsälen vertreiben und Lehrende durch aufgezeichnete Online-Angebote ersetzen würden (Fagan, 2021).

All diese Befürchtungen sind nicht eingetreten. Doch bei ChatGPT könnte es tatsächlich ganz anders kommen. Denn ChatGPT stellt einen zentralen Punkt der universitären Ausbildung in Fragen: Die Leistungsbewertung an Hochschulen und damit, wie wir Studienerfolg messen. Werfen wir einen Blick auf unterschiedliche Szenarien.

1. ChatGPT verbieten

Auch wenn es ein ziemlich sinnloses Vorgehen ist, haben einige Hochschulen diese Option bereits aufgegriffen (Yang, 2023). Netzwerke oder Geräte, die für ein bestimmtes Tool gesperrt sind, zu umgehen, ist für die meisten Studierenden nicht schwierig. Sie loggen sich einfach in andere Netzwerke ein und verwenden andere Geräte. Sollten wir vielleicht eine Erkennungssoftware entwickeln, die darauf trainiert ist, KI-basierte Sprachalgorithmen zu erkennen? GPT-2 Output Detector Demo hat hier einen Anfang gemacht und ist in der Lage, Muster von Unregelmäßigkeiten in schriftlichen Arbeiten zu erkennen, die auf eine chatbot-basierte Unterstützung hinweisen könnten.

Aber die ständige Weiterentwicklung und der Siegeszug von GPT sind nicht mehr aufzuhalten: Jedes Mal, wenn wir ChatGPT aufrufen, trainieren wir das System. 

Gut möglich, dass wir zu menschlichen Batterien werden, die Maschinen andauernd mit Informationen und Daten füttern und in einer von der KI generierten Schreibmatrix gefangen sind! Dieses Erkennungs-Wettrüsten werden wir nicht gewinnen.

Aber im Ernst: Plagiate und Unterschleif an den Hochschulen sind ein alter Hut. Einer jüngsten Schätzung der britischen Qualitätssicherungsbehörde für Hochschulen (QAA) zufolge, hat bereits jeder siebte Absolvent (14 %) schon einmal jemanden dafür bezahlt, eine Hausarbeit zu übernehmen (QAA, 2020). Eine kürzlich durchgeführte Umfrage ergab außerdem, dass im Jahr 2022 16 % der Studierenden bei ihren Online-Prüfungen geschummelt hatten, und 52 % der Befragten kannten jemanden, der im gleichen Jahr bei einer Leistungsbewertung der Hochschule geschummelt hatte. Tatsächlich wurde nur ein sehr kleiner Prozentsatz von 5 % dabei erwischt. Zwar werden solche Praktiken durch KI sicherlich noch einfacher und alltäglicher, aber ein Verbot gleicht dem Versuch, ein digitales Problem mit einem analogen Ansatz zu lösen. In diesem Zusammenhang stellt sich die Frage, ob das Problem in der Technologie zu suchen ist oder in unserem aktuellen Ansatz der Leistungsbewertung.

2. Rückkehr zu Prüfungen mit Stift und Papier

Dieses Szenario ist vor allem dort wahrscheinlich, wo weniger Bereitschaft oder Ressourcen vorhanden sind, neue Ansätze zur Leistungsbewertung zu erarbeiten. Natürlich gibt es nach wie vor an vielen Instituten schriftliche Prüfungen vor Ort. Aber es wird zunehmend erkannt, dass es an Inklusivität mangelt, wenn man die Studierenden unter hohem Druck und in einem unflexiblen Umfeld arbeiten lässt, und dass dadurch deutliche Leistungsunterschiede verursacht werden. 

Die Rückkehr zu Prüfungen mit Papier und Stift wäre ein Rückschritt, aber einige Hochschulen sind bereit, diesen Schritt zu gehen, um die Maschine gewissermaßen auszubremsen (Cassidy, 2023). Eine weitere Option sind Online-Prüfungen unter kontrollierten Bedingungen, mit einer speziellen Browsertechnologie und der Möglichkeit zu erkennen, ob Studierende große Textabschnitte in ihre Autorenoberfläche einfügen. Eine automatisierte Prüfungssoftware bringt wiederum finanzielle und funktionale Herausforderungen mit sich, ganz zu schweigen von ethischen und datenschutzrechtlichen Erwägungen.

Es spricht jedoch einiges dafür, synchrones Schreiben stärker zu fördern. Johann N. Neem äußerte in einem Gespräch mit Inside Higher Ed, die Lehrenden sollten neue Wege finden, “um Studierenden zu helfen, gut akademisch lesen und schreiben zu lernen, und ihnen dabei zu helfen, den Zusammenhang zwischen dieser Fähigkeit und ihrer eigenen Entwicklung zu erkennen“ (D’Agostino, 2023). Beispielsweise könnte man den Studierenden die Möglichkeit anbieten, in Lehrveranstaltungen zu schreiben und zu begreifen, dass Schreiben sowohl Nachweis als auch Praxis des Lernens ist.

3. KI-Kompetenzen als Teil der Prüfungen

Dies ist zweifelsohne ein guter Schritt. In den vergangenen Wochen erfolgte innerhalb der Hochschulgemeinschaft ein reger Austausch von Ideen für ansprechende, authentische und kreative schriftliche Arbeiten mit dem Ziel, ChatGPT in die Leistungsbewertung von Studierenden zu integrieren und wesentliche KI-Kompetenzen zu entwickeln. Diese reichen von der Reflexion von Aufsätzen und Übungen zu deren Verbesserung bis hin zu Wettbewerben und Faktenchecks. Unter der Vielzahl neuer Ansätze gefällt mir besonders gut „Update Your Course Syllabus for chatGPT“ von Watkins (2022), der 10 KI-gerechte Ideen für Hausarbeiten enthält.

KI wird nicht verschwinden und ist längst Teil unseres Alltags geworden. Will man die Studierenden nachhaltig auf die Arbeitswelt vorbereiten, muss man ihnen KI-Kompetenzen vermitteln, die es ihnen ermöglichen, diese Technologie verantwortungsvoll und kritisch zu nutzen. Ich kann mich der aktuellen Erklärung des britischen Joint Information Systems Committee (JISC) nicht anschließen, der zufolge „wir KI einfach als die nächste Stufe nach der Rechtschreib- oder Grammatikprüfung betrachten sollten: eine Technologie, die uns das Leben leichter machen kann“ (Weale, 2023). Wir müssen vielmehr den Studierenden helfen zu verstehen, in welchen Situationen KI-basierte Schreibtools hilfreich sind und bessere Ergebnisse ermöglichen können und wo deren Grenzen liegen. Im Gegensatz zur Rechtschreibprüfung gibt es viel mehr Spielraum für Fehler, denn ChatGPT liefert keine echten Antworten auf Fragen, sondern einfach nur einen Output auf Eingabeaufforderungen. Das ist etwas ganz Anderes.

Zu berücksichtigen ist auch, dass man besonders im Bereich KI-Kompetenzen auf eventuell sich abzeichnende soziale Ungleichheiten und ökologische Herausforderungen achten sollte. Verbesserte künftige Versionen von GPT sollen nicht kostenlos zugänglich sein, oder jedenfalls nicht, solange die CO2-Bilanz bei der Schulung eines einzigen KI-Modells immens ist (Heikkilä, 2022) . Als Institutionen, die in der Regel einem gewissen Maß an sozialer Gerechtigkeit verpflichtet sind, müssen die Hochschulen sich mit ihrer Position zu diesen Themen auseinandersetzen und ihre Studierenden dabei unterstützen, sich in diesen Fragen zurechtzufinden.

4. Menschliche Fähigkeiten bewerten

Genauso, wie wir KI-Tools nicht verbieten können, können wir sie auch nicht für alle Hausarbeiten einsetzen. Aktuell sind Tools wie ChatGPT noch gar nicht in der Lage, Leistungen zu erbringen, die grundsätzlich von Studierenden erwartet werden: Sie können nur schlecht wissenschaftlichen Quellen zitieren oder diskutieren, sie können sich nicht auf aktuelle Ereignisse oder Publikationen beziehen, sie können keine Denkprozesse auf höherer Ebene demonstrieren und sie können keine Standpunkte vertreten und erörtern oder mit innovativen Ideen aufwarten. 

Je mehr Details und Fakten verlangt werden, desto mehr schwächelt das System. Aktuell können Studierende am besten nachweisen, dass kein Sprachmodell hinter ihnen steckt, indem sie kreative Denkansätze unter Beweis stellen, was schließlich (auch) der Zweck von Hochschulausbildung ist. Und es stellt sich die Frage: Wenn uns eine Maschine sagen kann, was wir wissen müssen, warum sollen wir es dann noch lernen? Im Grunde müssen wir den gesamten Kontext dessen überdenken, was Studenten wissen müssen und wie sie lernen sollen. 

Möglicherweise wirkt sich die rasante Entwicklung von ChatGPT sogar positiv auf die Akzeptanz von Leistungsbewertung aus, die kritisches Denken, Problemlösungs- und Argumentationsfähigkeiten prüfen. Mündliche Prüfungen, Reflexionsaufgaben, bei denen Studierende ihre Denkprozesse darlegen müssen, die Erarbeitung von Mind Maps oder die Durchführung von Gruppenarbeiten könnten künftig verstärkt eingesetzt werden.

Dies fordern viele Fachleute im Hochschulbereich seit geraumer Zeit, um die Hochschulausbildung besser auf die Erfordernisse am späteren Arbeitsplatz abzustellen und den Studierenden authentische Erfahrungen zu ermöglichen.

5. Mit Hilfe von ChatGPT Prüfungen gestalten

Vieles, was zum Thema ChatGPT und Leistungsbewertung veröffentlicht wurde, fokussiert das Risiko von Plagiaten oder Unterschleif. Dabei eröffnen sich gerade Lehrenden viele Möglichkeiten, wie sie sich mit dieser Technologie die Prüfungsarbeit erleichtern können. Je anspruchsvoller die Leistungsbewertung als Reaktion auf die KI gestaltet wird, desto schwieriger wird es für die KI-Technologie werden, bei Aufgaben wie der Benotung zu helfen. Solange aber Bewertungskriterien auf generische Kriterien wie Struktur, Referenzierung und inhaltliche Themen abzielen, solange wird es möglich sein, die KI so zu schulen, dass sie die Benotung dieser Kriterien unterstützt.

Eine weitere Zeitersparnis könnte bei der Erstellung von Multiple-Choice-Fragebögen erzielt werden. Bereits 2018 verwies Donald Clark auf das Potenzial der KI, die Belastung bei Multiple-Choice-Prüfungen zu verringern. Diese sind zeitaufwändig und schwierig zu erstellen und weisen häufig nicht die erforderliche Qualität auf, die erforderlich ist, um sie so aussagekräftig zu machen, wie sie sein könnten. KI kann nicht nur bei der Erstellung von Fragebögen helfen. Sie kann auch mehr offene Fragen erlauben, da die Technologie die Interpretation von Antworten wie Wörtern, Zahlen oder Kurzantworten ermöglicht.

Innerhalb weniger Monate hat ChatGPT Ziele, Art und Weise der Bewertung schriftlicher Arbeiten in den Fokus des Interesses gerückt. Aber schon geht es mit Riesenschritten weiter. KI ist auch aus dem Bereich der Medienproduktion nicht mehr wegzudenken: KI kann nicht nur Kunst, Videos und Audio schaffen, sondern auch Stimmen und Gesichter nachmachen – unser Chatbot entwickelt sich längst über das geschriebene Wort hinaus weiter. Es wäre naiv zu glauben, dass man diese Entwicklung aufhalten kann. Diese Technologie ist unseren Versuchen, sie in eine nachvollziehbare Prüfungsstrategie einzubinden, bereits jetzt um zwei Schritte voraus.

Beim Verfassen dieses Artikels wurde bewusst auf die ebenfalls mögliche Option verzichtet, auf ChatGPT einfach gar nicht zu reagieren. Wir sollten uns mit den Auswirkungen der KI auf Lehren und Lernen auseinandersetzen und sie als Teil unserer Strategie und Pädagogik zur Entwicklung kritischen Denkens in einer von KI geprägten Welt annehmen. Andernfalls wird womöglich der Wert von Hochschulbildung anfangen zu bröckeln.

Wie werden sich Prüfungen in Ihrem Fachgebiet verändern? Teilen Sie gerne Ihre Vermutung über die Kommentarfunktion, Twitter oder LinkedIn.

---

Literatur

Cassidy, C. (2023, 10. Januar). Australian universities to return to ‘pen and paper’ exams after students caught using AI to write essays. The Guardian. https://www.theguardian.com/australia-news/2023/jan/10/universities-to-return-to-pen-and-paper-exams-after-students-caught-using-ai-to-write-essays

Clark, D. (2018, 22. September). Learning Designers will have to adapt or die. Here’s 10 ways they need to adapt to AI. Donald Clark Plan B. http://donaldclarkplanb.blogspot.com/2018/09/learning-designers-will-have-to-adapt.html

Cotton, D. R. E., Cotton, P. A., & Shipway, J. R. (2023). Chatting and cheating: Ensuring academic integrity in the era of ChatGPT. Innovations in Education and Teaching International, 1–12. https://doi.org/10.1080/14703297.2023.2190148

D’Agostino, S. (2023, 12. Januar). ChatGPT advice academics can use now. Inside Higher Ed. https://www.insidehighered.com/news/2023/01/12/academic-experts-offer-advice-chatgpt

Eamon, D.B. (1999). Distance education: Has technology become a threat to the academy?. Behavior Research Methods, Instruments, & Computers, 31, 197–207. https://doi.org/10.3758/BF03207711

Fagan, J. (2021, 3. Oktober). University of Exeter Lecturers Threaten Industrial Action over Lecture Recordings. TP Transcription. https://www.tptranscription.co.uk/university-of-exeter-lecturers-threatening-industrial-action-over-lecture-recordings/

Heikkilä, M. (2022, 14. November). We’re getting a better idea of AI’s true carbon footprint. MIT Technology Review. https://www.technologyreview.com/2022/11/14/1063192/were-getting-a-better-idea-of-ais-true-carbon-footprint/

QAA.(2020). Contracting to Cheat in Higher Education –How to Address Contract Cheating, the Use of Third-Party Services and Essay Mills. UK:Quality Assurance Agency (QAA)

Watkins, R. (2022, 19. Dezember). Update Your Course Syllabus for ChatGPT. Medium. https://medium.com/@rwatkins_7167/updating-your-course-syllabus-for-chatgpt-965f4b57b003

Weale, S., (2023, 13. Januar). Lecturers urged to review assessments in UK amid concerns over new AI tool. The Guardian. https://www.theguardian.com/technology/2023/jan/13/end-of-the-essay-uk-lecturers-assessments-chatgpt-concerns-ai

Yang, M. (2023, 6. Januar). New York City schools ban AI chatbot that writes essays and answers prompts. The Guardian. https://www.theguardian.com/us-news/2023/jan/06/new-york-city-schools-ban-ai-chatbot-chatgpt

---

Dies ist die gekürzte und übersetzte Version eines Artikels von Kate Lindsay. Er erschien im Original am 16. Januar 2023 unter dem Titel ChatGPT and the Future of University Assessment auf Kate Lindsay Blogs unter CC BY-SA.