Prof. Dr. Swen Schneider untersucht den Einsatz von ChatGPT an der University of Wisconsin-La Crosse (USA)

Automated Content Generation bezeichnet die Verwendung von KI-Systemen zur Erstellung von Text, Code, Grafiken oder anderen Arten von Inhalten. Das Projekt untersucht, wie verbreitet solche Tools an Hochschulen sind und in welchen Bereichen sie eingesetzt werden. Darüber hinaus untersucht das Projekt den Einsatz automatisierter Entscheidungsfindungen im Hochschulbereich. Ein Beispiel dafür ist das sogenannte „Automated Essay Scoring“, bei dem KI-Systeme autonom die Qualität von studentischen Hausarbeiten bewerten.

Bisher haben über 300 Studierende an dem Projekt teilgenommen. Außerdem wurden vor dem Projekt fünf Experteninterviews durchgeführt, darunter drei mit Professoren aus dem Bereich Informationssysteme sowie je ein „Interview“ mit ChatGPT und GoogleBARD.

Das Projekt ist noch in der Anfangsphase, aber es gibt bereits einige interessante Ergebnisse. So wurde festgestellt, dass Automated Content Generation als effektive Möglichkeit gesehen wird, die Effizienz und Genauigkeit der Inhaltserstellung zu verbessern, den Bias zu reduzieren und personalisiertes, schnelleres und effektiveres Feedback zu ermöglichen. Die Studienteilnehmer*innen berichten, dass die automatisierte Inhaltserstellung die Qualität ihrer Hausarbeiten verbessert hat, z. B. durch Umformulierung oder Grammatikprüfung. Allerdings können durch “Faked Information” oder “falschen Code” auch mehr BIAS und unrichtige Informationen erzeugt werden. Insbesondere die mangelnde Transparenz und daher geringe Erklärbarkeit der Ergebnisse oder Bewertungen und die noch geringen Erfahrungen führen zu Unsicherheiten und mangelnden Vertrauen in die Tools.

Gleichwohl werden solche Tools von Lehrenden und Studierenden bereits weit verbreitet eingesetzt (81%), trotz mangelndem Vertrauen und Unsicherheit über die erlaubten Hilfsmöglichkeiten. Es existiert im Wissenschaftsbereich, als auch auf Hochschulebene ein Graubereich, bei dem weitere Diskussionen zur Etablierung von Anwendungsregeln solcher Tools notwendig sind. Das wünschen sich auch die meisten Studienteilnehmer*innen.

So stellt sich z.B. die Frage, wie die Leistung von Studierenden in Zukunft bewertet werden soll, wenn die Recherche, die Struktur, die verwendeten Quellen, als auch die Inhalte von einer Maschine erstellt werden. Derzeit kann als individuelle Leistung noch die Orchestrierung und Qualitätsüberprüfung der Textblöcke oder den Tools die „richtigen“ Fragen gestellt zu haben (Prompting) angerechnet werden. Doch die Maschinen lernen sehr schnell dazu.

La Crosse ist eine Stadt im US-Bundesstaat Wisconsin mit einer lebendigen Kunst- und Kulturszene. Die Landschaft im Mittleren Westen ist ähnlich unseren Mittelgebirgen. La Crosse liegt am Mississippi River und ist von Wäldern, Seen und Flüssen umgeben. Es gibt zahlreiche Theater, Museen, Galerien und Kneipen, sowie ein fußgängerfreundliches „Downtown“. Das Klima in La Crosse ist im Sommer wärmer und im Winter kälter als in Frankfurt. So gab es bereits Ende Oktober die ersten 3 cm Schnee. Im Oktober findet in La Crosse auch eines der größten Oktoberfeste in den USA statt. Die Stadt ist ein beliebtes Ziel für Wanderer, Radfahrer, Angler und andere Outdoor-Fans. La Crosse ist auch eine Stadt mit vielen American Football-Fans, wobei insbesondere Green Bay Packers ein beliebtes Team in der Region (Bild rechts) sind.