Von den Veranstalter*innen des Jungen Forum Medien und Hochschuldidaktik wurde ich angefragt, einen Workshop zu KI und qualitativen Methoden an der Universität Vechta zu halten. Diese Anfrage habe ich gerne genutzt, um in das vertiefte Ausprobieren von KI für die qualitative Forschung zu gehen. In den letzten Monaten habe ich bereits einige Blogbeiträge zu KI und qualitativen Methoden veröffentlicht, aber die Zeit zum intensiven eigenen Ausprobieren hat gefehlt. Das habe ich nun nachgeholt und zusammen mit Christian Schneijderberg den Workshop konzipiert. Dazu habe ich Interviews mit ChatGPT 4.0 über die gerade in Paderborn eingeführte Schnittstelle HAWKI induktiv und deduktiv kodiert. Zur Einführung finden sich auf den Folien am Ende dieses Beitrags auch einige Links und Datenschutzhinweise zu KI-Tools. Da die Prompts und Ausgaben von ChatGPT in der Präsentation nachgelesen werden können, möchte ich hier nur eine Einführung und die wichtigsten Ergebnisse sowie meine aktuelle Meinung wiedergeben.
In den letzten Monaten wurde diskutiert, inwieweit Large Language Models (oft auch als KI bezeichnet) wie das GPT-Modell von Open AI qualitative Forschung verändern oder sogar überflüssig machen könnten. Aus meiner Sicht steht dabei die Frage im Vordergrund, ob Kodierprozesse vereinfacht, effektiver, verändert oder gänzlich obsolet werden. Kai Dröge hat in diesem Zusammenhang die Idee des horizontalen Codierens entwickelt. Horizontales Codieren bedeutet, dass z.B. Interviews nicht mehr nacheinander codiert werden, sondern alle Interviews direkt nach auftauchenden Kategorien durchsucht werden können. Die Autor*innen des Blogs audiotranskription haben ebenfalls mit ChatGPT experimentiert und kommen zu dem Ergebnis: „Im qualitativen Analyseprozess hingegen wirft KI mehr Fragen auf, als dass sie konkrete Probleme zeitsparend zu lösen im Stande ist oder zentrale Arbeitsschritte grundlegend vereinfacht oder beschleunigt.“ Im englischsprachigen Raum wurden einige Codierversuche mit ChatGPT unternommen, die sich auf die Methode der Thematic Analysis beziehen (Morgan 2023, Nguyen-Trung 2024). Dabei wird deutlich, dass ChatGPT dabei helfen kann einen Überblick über das Material zu erhalten aber kaum effizienter geforscht werden kann, oder gar das menschliche Codieren überflüssig macht.
Mit diesem Vorwissen habe ich ChatGPT ausprobiert und getestet, wie induktives und deduktives Codieren (Varianten qualitativer Inhaltsanalyse – ein Ordnungsvorschlag) funktionieren kann. Dazu habe ich Interviews aus einem Forschungsprojekt verwendet, das ich zusammen mit Mareike Bauer, Sonja Schimmler und Hannes Wünsche am Weizenbaum-Institut durchgeführt habe. Die Interviews konnte ich verwenden, da sie auf Zenodo frei zugänglich sind. ACHTUNG: Sollten solche Daten nicht verfügbar sein, dann bitte nicht ChatGPT oder andere KI-Tools bzw. Programme verwenden, die auf GPT von Open AI zugreifen, da diese nicht datenschutzkonform sind.
Ergebnisse meines Ausprobierens sind:
- ChatGPT kann genutzt werden, wenn Ordnungsvorschläge bzw. Mustererkennungen ausgegeben werden sollen. Dies kann als induktiver erster Codierschritt bezeichnet werden, um einen Überblick über die Daten zu erhalten. Wichtig ist aber, dass es sich dabei nur um erste Ideen handelt, die dann durch eigene Codierungen überprüft und erweitert werden müssen.
- Die induktive Codierung mit ChatGPT kann auch dazu dienen bereits durchgeführte Codierungen anzureichern bzw. zu prüfen, ob etwas übersehen wurde. ChatGPT dient dann als zweite Codierinstanz, die allerdings nur oberflächliche Muster erkennt.
- Das deduktive Codieren hat in meinem Beispiel kaum funktioniert. Die Analyse anhand einer vorgegebenen Definition oder nach einem theoretischen Konstrukt scheint nicht zu funktionieren.
- ChatGPT hat einen „Erfüllungs-Bias“. Wenn ein Prompt gesetzt wurde, scheint die Programmierung zu verlangen, dass eine Antwort gegeben wird, auch wenn in dem zu analysierenden Material keine Aussage gefunden wurde. Der Erfüllungs-Bias existiert nicht, wenn Fragen gestellt werden, die von Open AI zensiert werden (z.B. zur Atombombe). Dieser Erfüllungs-Bias ist bei der Auswertung qualitativer Daten sehr problematisch.
- Die Referenzierung funktioniert nicht, d.h. das Verweisen auf Textstellen durch ChatGPT als Referenz auf ein ausgegebenes Muster/Code. Das ist auch nicht weiter verwunderlich, da ChatGPT so programmiert ist, dass es Text auf Basis von Algorithmen ausgibt, die mit sehr vielen Trainingsdaten trainiert wurden. Das bedeutet – so mein laienhaftes Verständnis – dass ChatGPT zunächst den Prompt anhand der Trainingsdaten beantwortet und dann eine Referenz aus den hochgeladenen Interviews gibt, die mal besser und mal schlechter passt. Wenn das eine falsche Annahme ist, würde ich mich über einen Kommentar freuen!
Insgesamt zeigen meine Versuche, dass ChatGPT hilfreich sein kann, um erste Ideen zu bekommen und nicht vor einem leeren Blatt zu sitzen. Was es aber auf keinen Fall kann – und hier sehe ich eine große Herausforderung vor allem für Studierende – ist, den Codierungsprozess zu ersetzen. Um die Ergebnisse von ChatGPT richtig einordnen und reflektieren zu können, bedarf es einer umfassenden Beurteilungs- und Bewertungskompetenz. Etwas, das Studierenden oft Probleme bereitet, weshalb sie bei qualitativer Forschung unsicher sind. Denn es braucht Vertrauen in die eigenen Analysefähigkeiten, die erst entwickelt werden müssen. Wenn diese nicht vorhanden sind, scheint es nur logisch, sich auf die Technik zu verlassen. Aber genau das ist, wie die Experimente zeigen, fatal. Insofern bedarf es meines Erachtens eines kritischen Umgangs mit Bots (nicht Ablehnung!), der erst vermittelt werden muss.
Literatur
Morgan, D. L. (2023). Exploring the Use of Artificial Intelligence for Qualitative Data Analysis: The Case of ChatGPT. International Journal of Qualitative Methods, 22, 16094069231211248. https://doi.org/10.1177/16094069231211248
Nguyen-Trung, K. (2024). ChatGPT in Thematic Analysis: Can AI become a research assistant in qualitative research? https://doi.org/10.31219/osf.io/vefwc
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Isabel Steinhardt (8. Juli 2024). Induktiv und deduktiv Codieren mit ChatGPT – Erfahrungsbericht. Sozialwissenschaftliche Methodenberatung. Abgerufen am 10. Dezember 2024 von https://doi.org/10.58079/11ymh