Der ETH-Chatbot Ethel korrigiert auch Übungen

Ein Chatbot, der nur verl?ssliche Informationen aus dem Kurskontext wiedergibt, das Niveau seines Gegen¨¹bers kennt, Antworten entsprechend anpasst und sogar auf spezifische Stellen in einer Vorlesungsaufzeichnung verweisen kann ¨C das ist noch Zukunftsmusik.

Gerd Kortemeyer, Spezialist f¨¹r KI in der Lehre beim ETH AI Center und dem Rektorat, hat aber eine solche Vision vor Augen, wenn er an den aktuellen Chatbots f¨¹r spezifische Kurse arbeitet.

In seinem Projekt mit dem Namen Ethel entwickelt er digitale Hilfsassistenten, die Routinearbeiten ¨¹bernehmen k?nnen: Fragen von Studierenden zu Kursen beantworten, Feedback zu Hausaufgaben oder ?bungen geben und sogar bei der Benotung von Leistungsnachweisen helfen.

Chatbots st¨¹tzen sich auf Kursunterlagen

Bei sechs Kursen sind solche Bots bereits in Betrieb. Im Moment basieren sie auf dem kommerziell verf¨¹gbaren Sprachmodell GPT-4. Stellen Studierende den Chatbots Fragen, st¨¹tzen diese sich f¨¹r die Antworten auf die jeweiligen Kursunterlagen. Das entspreche einem Wunsch der Studierenden, der aus einer grossen Umfrage zur Verwendung von KI unter Studierenden der ETH hervorgegangen sei, sagt Kortemeyer. Und es funktioniere bereits erstaunlich gut.

Im Unterschied zu ChatGPT werden die Referenzdaten ¨C also die Kursunterlagen ¨C lokal auf Servern der ETH gehalten. Zudem hat die ETH eine vertragliche Zusicherung, dass diese Daten vom Betreiber von GPT-4 nicht zu Trainingszwecken verwendet werden.

Kortemeyer erstellt solche Bots zusammen mit den Informatikdiensten f¨¹r interessierte Dozierende der ETH, sie k?nnen sich daf¨¹r direkt an ihn wenden.

Feedback zu ?bungsbl?ttern

Auch als ?Mentor? haben sich die Custom-Bots bereits bew?hrt: In Physik-?bungen k?nnen Studierende im Rahmen einer Pilot-Studie ihre handschriftlich ausgef¨¹llten ?bungsbl?tter einreichen und erhalten vom Bot ein qualitatives Feedback. Zum Beispiel ein Hinweis darauf, wo der oder die Studierende einen Fehler gemacht hat. Bei diesem Beispiel dienen die Musterl?sungen als Referenz f¨¹r das Sprachmodell.

Nat¨¹rlich seien diese Antworten nicht immer korrekt, sagt Kortemeyer. Dessen seien sich die Studierenden aber bewusst. ?Sie bewerten die Bots trotzdem mehrheitlich als n¨¹tzlich, weil sie auch dabei lernen, wenn sie sich mit den Fehlern der Bots auseinandersetzen.?

Aktuell erforscht Kortemeyer, ob Chatbots auch als Benotungs-Helfer taugen. Im Prinzip k?nnen diese f¨¹r ?bungsbl?tter und Klausuren anhand der Musterl?sungen auch einen Vorschlag f¨¹r die Benotung machen. Also ein Punkte-Vorschlag gepaart mit einer Angabe zur Zuverl?ssigkeit der Angabe. Kortemeyer testet aktuell, wie treffsicher das System arbeitet ¨C respektive, wie gut das System seine Treffsicherheit einsch?tzen kann. Er verwendet dazu einen Datensatz von einer grossen Thermodynamik-Pr¨¹fung und f¨¹hrt Messungen durch.

Ein eigenes Sprachmodell?

Im Rahmen der Swiss AI Initiative von ETH Z¨¹rich und EPFL gibt es den Plan, ein Sprachmodell f¨¹r die Lehre von Grund auf zu entwickeln. Ein solches Modell w?re transparenter und vertrauensw¨¹rdiger, weil klar ist, womit es trainiert wird. Die Initiative hat daf¨¹r Rechenzeit des Supercomputing Centers (CSCS) zugesichert bekommen. Nur: F¨¹r dessen Training w¨¹rde ein immenser Textkorpus an Unterrichtsunterlagen ben?tigt.

Als Vorstufe dazu plant Kortemeyer, ein ?vortrainiertes? Open-Source-Modell wie Llama (von Meta) oder Mistral mit eigenen Kursunterlagen zu feinjustieren. Dazu ist er darauf angewiesen, noch mehr Kursunterlagen von Dozierenden zur Verf¨¹gung gestellt zu bekommen.

Er verspricht sich von einem solchen Modell, dass es noch genauer die Sprache von technischen Hochschulen spricht, sich also in der dem Niveau der Studierenden angemessenen Fachsprache der Mathematik, Natur- und Ingenieurwissenschaften auszudr¨¹cken weiss. Das Feintuning will er im Sommer in Angriff nehmen, mit dem Ziel, das neue Modell im Fr¨¹hlingssemester 2025 als neues ?Hirn? f¨¹r die Kurs-Chatbots zu verwenden.