Prüfungen KI-sensibel gestalten
Eine der aktuell meist diskutierten Fragen in Bezug auf KI im Bildungswesen ist, wie in einer Welt in der KI-Technologien fortgeschrittene Qualifikationsprüfungen bestehen, die Leistungsnachweise gestaltet werden können und sollen. Insbesondere bei unbeaufsichtigten, schriftlichen Prüfungen wie Bachelor-, Master-, Studien-, Forschungs- und Hausarbeiten ist die Verunsicherung groß.
Auf dieser Seite möchten wir Ihnen zunächst allgemeine Empfehlungen zur Gestaltung von KI-sensiblen Prüfungsformen geben. Im zweiten Teil gehen wir der Frage nach, wie die bestehenden Prüfungsformen so angepasst werden können, dass der Nachweis der individuellen Kompetenz der zu Prüfenden nicht durch KI ersetzt werden kann. Die hier dargestellten Empfehlungen stammen aus dem Schreiben vom Studiendekan der Philosophischen Fakultät, Herrn Prof. Dr. Albert Busch, wir danken ihm für die Erlaubnis diese hier zu veröffentlichen.
1. Subjektive Fragen: Stellen Sie Fragen, die subjektive Antworten erfordern und eine persönliche Interpretation oder Analyse erfordern. Vermeiden Sie Fragen mit klaren Faktenantworten, die leicht durch einfaches Nachschlagen in Texten oder Datenbanken beantwortet werden können. Zum Beispiel könnten Sie nach Forschungsperspektiven oder -diskussionen, Interpretationen wie Interpretationskonkurrenzen oder kreativen Lösungen zu bestimmten Themen oder Texten fragen.
2. Essays und Aufsätze: Lassen Sie die Studierenden längere Essays oder Aufsätze schreiben, die tiefgreifende Analysen, Argumentationen und das eigene Abwägen von Forschungspositionen erfordern. Solche Aufgaben erfordern oft kritische Denkfähigkeiten und Individualität, die schwer von KI repliziert werden können.
Tipp: Der E-Prüfungsraum bietet die Möglichkeit, Essays und Aufsätze in einer kontrollierten Umgebung an einem PC anfertigen zu lassen. So müssen Sie sich nicht mit verschiedenen Handschriften bei der Korrektur rumschlagen.
3. Gruppendiskussionen: Organisieren Sie Gruppendiskussionen, in denen die Studierenden in Echtzeit miteinander interagieren und diskutieren müssen. Dies erfordert die Fähigkeit zur kritischen Diskussion und zur Reaktion auf die Beiträge anderer Studierender, was schwierig für KI ist.
4. Praktische Anwendungen: Erstellen Sie Prüfungsaufgaben, die auf realen Anwendungen basieren. Dies könnte die Analyse von realen Fallstudien, die Lösung von praktischen Problemen oder die Erstellung von kreativen Projekten umfassen, die ein tiefes Verständnis des Fachgebiets erfordern.
5. Offene Fragen und Diskussionen: Geben Sie den Studierenden die Möglichkeit, eigene Fragen zu stellen oder an offenen Diskussionen teilzunehmen, in denen sie ihre Gedanken und Ideen frei austauschen können. Dies fördert kritisches Denken und die Entwicklung von Argumentationsfähigkeiten.
Es ist klar, dass diese Maßnahmen zusätzliche Arbeit und Weiterentwicklung der bisherigen Vorgehensweisen erfordern und die Prüfungsprozesse komplexer machen können. Dennoch können sie dazu beitragen, dass die Bewertung auf echtem Verständnis und kritischem Denken basiert.
Folgend möchten wir auf mögliche Lösungen für die Anpassung jeweiliger Prüfungsformen eingehen.
Seminararbeiten können mit mündlichen Prüfungen gekoppelt werden. Hierzu kann je nach Ausformung eine Änderung der Prüfungsform in der Ordnung notwendig werden, etwa wenn man eine bisher nur schriftliche Leistung systematisch mit einer neuen mündlichen Leistung verbindet.
Ohne Ordnungsänderung kann man KI-Sensibilität aber auch durch folgende Akzentsetzungen erreichen:
1. Klare Fragestellung und Originalität: Stellen Sie sicher, dass die Studierenden eine klare Fragestellung oder ein Thema für ihre Seminararbeit auswählen, das Originalität und eigene Gedankenarbeit erfordert. Die Fragestellung sollte nicht einfach durch einfaches Nachschlagen beantwortet werden können.
2. Einsatz von spezifischen Fragestellungen und Empirie: Regen Sie Frageperspektiven an, die kritische Reflexionen erfordern, und nicht nur Faktenwissen.
3. Eigene Empirie: Regen Sie eigene empirische Projekte an, die spezifische Forschungsfragen beantworten.
4. Umfassende Literaturrecherche: Legen Sie großen Wert auf die Notwendigkeit einer gründlichen und systematischen Literaturrecherche. Die Studierenden sollten relevante Quellen suchen, kritisch bewerten und ihre Arbeit auf fundierten Informationen aufbauen.
5. Forschungsreflexion vorgeben: Geben Sie beispielsweise bestimmte Forschungspositionen bzw. -literatur vor, die im Rahmen der Seminararbeit auf vorgegebene Texte, Autor*innen, Gattungen, Erzählweisen, Objekte, Verfahren, Epochen, historische Ereignisse und Konstellationen usw. angewendet werden müssen.
6. Eigenständige Argumentation: Stellen Sie die Aufgabe möglichst so, dass die Studierenden zur Beantwortung in der Lage sein müssen, ihre eigenen Argumente zu entwickeln und zu verteidigen. Die Seminararbeit sollte nicht nur eine Zusammenstellung von Informationen (Das kann die KI schon heute meist besser.) sein, sondern auch eine kritische eigene Analyse, Argumentation und enthalten.
7. Einzigartige Perspektiven und Interpretationen: Ermutigen Sie die Studierenden dazu, wo immer es möglich ist, selbst entwickelte und fachlich gesicherte Perspektiven oder Interpretationen des Themas zu präsentieren. Dies erfordert kreatives Denken und die Fähigkeit, Ideen zu entwickeln, die über das hinaus gehen, was in der vorhandenen Literatur zu finden ist.
8. Bezugnahme auf Diskussionen im Seminar: Wenn das Seminar im Laufe des Semesters Diskussionen zu relevanten Themen oder Ausarbeitungen geführt hat, fordern Sie die Studierenden auf, diese Diskussionen in ihrer Arbeit dezidiert zu berücksichtigen und darauf Bezug zu nehmen.
9. Peer-Feedback: Implementieren Sie Peer-Feedback-Sitzungen, bei denen die Studierenden ihre Arbeiten im Entwurfsstadium mit ihren Kommilitonen teilen und konstruktives Feedback erhalten.
10. Reflexionsteil zur kritischen Prüfung der Quellen und Forschungsdiskussion: Bitten Sie die Studierenden, die Glaubwürdigkeit und Relevanz der von ihnen verwendeten Quellen in einem Reflexionsteil der Arbeit kritisch zu hinterfragen und zu diskutieren. Dies zeigt auch, dass sie in der Lage sind, qualitativ hochwertige Informationen von minderwertigen, nicht mehr haltbaren oder veralteten zu unterscheiden.
11. Plagiatsprüfung: Führen Sie eine gründliche Plagiatsprüfung durch (Software dazu s.o.), um sicherzustellen, dass die eingereichte Arbeit keine nicht gekennzeichneten übernommenen Textpassagen enthält.
12. Präsentation und Verteidigung: Lassen Sie, wenn das zeitlich organisierbar ist, die Studierenden ihre Seminararbeit oder die eigenen grundlegenden Argumentationslinien dafür (z.B. in einer nachfolgenden Sprechstunde oder einem dafür angesetzten Termin) präsentieren und verteidigen. Dies ermöglicht es Ihnen, Fragen zu stellen und die tatsächlichen Kenntnisse und Verständnis der Studierenden zu bewerten.
Durch die Implementierung solcher Maßnahmen können Sie sicherstellen, dass Seminararbeiten Individualität, forschungsbasiertes kritisches Denken und eine gründliche Auseinandersetzung mit dem gewählten Thema erfordern, was es schwieriger macht, sie durch KI zu erstellen.
1. Individuelle Präsentationen: Stellen Sie z.B. durch individualisierte Fragestellungen zur Präsentation sicher, dass die Studierenden ihre Präsentationen auch individuell erstellen. Dies verhindert, dass sie auf vorgefertigte (oder von anderen Personen bereits erstellte) Präsentationen zurückgreifen. Auch ermöglicht es in großen Veranstaltungen eine Verteilung von Präsentation auf Gruppen, bei der die individuellen Anteile gut sichtbar bleiben.
2. Eigene Recherche: Geben Sie Präsentationsaufgaben vor, die es nötig machen, Präsentationen auf eigener Recherche, eigenem Verständnis und eigener Reflexion aufzubauen.
3. Aktuelle Literatur verwenden: Betonen Sie die Notwendigkeit, aktuelle und relevante Literatur und Forschungsergebnisse in ihren Präsentationen zu verwenden, um sicherzustellen, dass sie aktuelle Informationen nutzen und ihre Präsentationen auf dem neuesten Stand sind.
4. Quellenangaben: Fordern Sie die Studierenden auf, alle Quellen, die sie in ihrer Präsentation verwenden, ordnungsgemäß zu zitieren und ggf. kritisch zu diskutieren.
5. Originalität der Argumente: Formulieren sie Anforderungen, die es notwendig machen, dass die Studierenden, ihre eigenen Argumente entwickeln und nicht einfach Informationen wiedergeben. Sie sollten zeigen, dass sie in der Lage sind, ihre eigenen Standpunkte zu entwickeln und Interpretationen einzuordnen, zu gewichten und eigene Interpretationen zu verteidigen.
6. Diskussion und Interaktion: Nach der Präsentation (feste Zeitvorgabe) sollten Fragen und Diskussionen mit den anderen Seminarteilnehmern ermöglicht werden. Dies ermöglicht es den Lehrenden auch, das tatsächliche Verständnis und die Argumentationsfähigkeiten der Studierenden zu bewerten.
7. Peer-Feedback: Ermöglichen Sie Feedback-Runden, bei denen die Studierenden die Präsentationen ihrer Kommilitonen bewerten und konstruktive Rückmeldungen geben.
8. Bewertungskriterien: Klären Sie auch weiterhin im Voraus die Kriterien, nach denen die Präsentationen bewertet werden z.B. fachliche Adäquatheit, Einhaltung der Zeit, eigene Positionierung und Durchdringung…) um den Studierenden klare Erwartungen hinsichtlich der Leistungsanforderung zu vermitteln.
9. Plagiatsprüfung: Führen Sie ggf. eine Plagiatsprüfung durch, um sicherzustellen, dass die Präsentationen keine nicht gekennzeichneten übernommenen Textpassagen oder Grafiken enthalten.
Ein Portfolio in einem Seminarumfeld dient dazu, die Arbeit, den Fortschritt und die Leistungen eines Studierenden über einen bestimmten Zeitraum oder zu einem bestimmten Thema zu dokumentieren. Was kann man hier tun, um sicherzustellen, dass ein Portfolio authentisch und repräsentativ für die Leistungen und den Lernprozess der Studierenden ist sowie auf Originalität, Authentizität und nichtkopierbaren eigenen Leistungen beruht?
1. Klare Anforderungen: Geben Sie klare Anforderungen für das Portfolio vor und definieren Sie die Ziele und Erwartungen. Dies kann die Art des Materials, das in das Portfolio aufgenommen werden soll, sowie die strukturelle Gestaltung und den Umfang des Portfolios umfassen.
2. Reflexion und Analyse: Fordern Sie die Studierenden auf, reflektierende Texte oder Kommentare zu jedem Element im Portfolio hinzuzufügen. Dies ermöglicht es den Studierenden, ihre Gedanken und ihren Lernprozess zu dokumentieren und zu analysieren.
3. Authentische Arbeiten: Stellen Sie sicher, dass die im Portfolio enthaltenen Arbeiten authentisch sind und von den Studierenden selbst erstellt wurden. Überprüfen Sie die Originalität der Arbeiten durch Plagiatsprüfungen (Software dazu s.o.) oder andere geeignete Mittel.
4. Fortschritt und Entwicklung zeigen: Das Portfolio soll die Entwicklung der Studierenden und ihr Wissen zu einem Themenfeld oder einer Fragestellung über die Zeit hinweg dokumentieren. Dies kann durch die Aufnahme von früheren Entwürfen, Skizzen oder Arbeitsproben in Verbindung mit den endgültigen Arbeiten erreicht werden.
5. Selbstbewertung: Ermutigen Sie die Studierenden, sich selbst zu bewerten und ihre Stärken, Schwächen und Lernziele im Portfolio zu reflektieren. Dies fördert die Eigenverantwortung für das Lernen.
6. Vielfältige Inhalte: Das Portfolio sollte verschiedene Arten von Inhalten enthalten, wie schriftliche Arbeiten, Präsentationen, Projekte, Forschungsergebnisse, Skizzen, Reflexionen und mehr, um die Breite des Lernprozesses darzustellen.
7. Begleitende Erklärungen: Bitten Sie die Studierenden, jedes Element im Portfolio mit einer begleitenden Erklärung zu versehen. Sie sollten erklären, warum sie bestimmte Arbeiten ausgewählt haben und wie diese zu ihren Lernzielen und ihrem akademischen Fortschritt beitragen.
8. Bewertungskriterien: Klären Sie im Voraus die Kriterien, nach denen das Portfolio bewertet wird. Dies gibt den Studierenden klare Erwartungen und erleichtert die Bewertung.
9. Peer-Feedback: Implementieren Sie Peer-Feedback-Sitzungen, bei denen die Studierenden die Portfolios ihrer Kommilitonen bewerten und konstruktive Rückmeldungen geben.
10. Fortschrittsüberwachung und Gespräche: Führen Sie, soweit möglich, regelmäßige Gespräche mit den Studierenden zu ihren Forstschritten, um sicherzustellen, dass sie tatsächlich an der Zusammenstellung und Reflexion ihres Portfolios arbeiten und nicht auf nicht autorisierte Hilfe zurückgreifen.
Die Gestaltung von Sprachprüfungen, die schwer von KI zu bewältigen sind, erfordert die Integration von Aufgaben, die menschliche Fähigkeiten und Verständnis erfordern, die für KI schwer zu replizieren sind. Je nach zu prüfender Kompetenz können z.B. die folgenden Ausgestaltungen dabei helfen:
1. Mündliche Prüfungen mit offenen Fragen: Stellen Sie, falls das Prüfungsformat hierzu geeignet ist, mündliche Fragen, die von den Studierenden eine persönliche, spontane Antwort erfordern. Vermeiden Sie dabei reine Wissensfragen, die leicht durch vorherige Aufzeichnungen oder das Wissen aus Büchern beantwortet werden können.
2. Interaktive Gespräche: Führen Sie Prüfungen durch, bei denen die Studierenden in einer echten Gesprächssituation interagieren müssen. Dies kann beispielsweise eine Rollenspielübung sein, bei der sie auf unerwartete Wendungen reagieren müssen.
3. Authentische Textanalyse: Bitten Sie die Studierenden, komplexe Texte, Artikel oder Gedichte zu analysieren und Interpretationen, Argumente oder Rezensionen zu schreiben. Diese Aufgaben erfordern ein tiefes Verständnis der Texte und die Fähigkeit zur kritischen Analyse.
4. Kreative Schreibübungen: Lassen Sie die Studierenden kreative Texte wie Geschichten, Gedichte oder Essays verfassen. Diese Aufgaben erfordern Originalität und kreatives Denken.
5. Praktische Anwendungen: Verlangen Sie von den Studierenden, dass sie mündlich oder schriftlich Anweisungen oder Erklärungen zu praktischen Aufgaben oder Prozessen geben. Dies kann die Fähigkeit zur klaren Kommunikation und zur Problemlösung überprüfen.
6. Kritische Diskussionen: Organisieren Sie Diskussionsrunden oder Debatten zu kontroversen Themen und bewerten Sie die Fähigkeit der Studierenden, ihre Argumente zu präsentieren und auf Gegenargumente zu reagieren.
7. Sprachliche Kreativität: Fordern Sie die Studierenden auf, neue Wörter oder Begriffe zu erfinden oder in ihrer Muttersprache Metaphern und Wortspiele zu verwenden. Diese Aufgaben überprüfen die Fähigkeit zur kreativen Sprachnutzung.
8. Individuelle Präsentationen: Lassen Sie die Studierenden Präsentationen zu komplexen Themen erstellen und vortragen, bei denen sie ihre Kenntnis der Forschung und ihr Verständnis des Themas in der Fremdsprache zeigen müssen.
9. Kommunikation in verschiedenen Kontexten: Prüfen Sie die Fähigkeit der Studierenden, sich in verschiedenen Kommunikationssituationen und Textsorten wie etwa formellen Vorträgen, informellen Gesprächen oder schriftlichen Textsorten der angestrebten Kompetenzebene angemessen auszudrücken.
10. Authentische Gespräche: Erstellen Sie Aufgaben, bei denen die Studierenden echte Gespräche mit Menschen aus unterschiedlichen kulturellen Hintergründen führen müssen, um interkulturelle Kommunikationsfähigkeiten zu bewerten.
11. Bewertung von Idiomen und kulturellen Nuancen: Fordern Sie die Studierenden auf, Idiome, kulturelle Nuancen oder humorvolle Ausdrücke in Texten zu identifizieren und zu erklären.
12. Phonetische Aufgaben: Lassen Sie die Studierenden in Präsenz Aufgaben zur Phonetik und zur korrekten Aussprache von Wörtern oder Phrasen lösen.
13. Textproduktion unter Zeitdruck: Verlangen Sie von den Studierenden, dass sie in begrenzter Zeit Aufgaben wie Zusammenfassungen, Kommentare oder Übersetzungen erstellen, um die Fähigkeit zur schnellen Sprachverarbeitung zu überprüfen.
Wenn Sie konkrete Erfahrungen mit Prüfungsformaten für ein mögliches Good-Practice-Szenario haben, kontaktieren Sie uns gerne unter elearning@uni-goettingen.de.