Literaturüberblick zu qualitativer Forschung mit ChatGPT & Co

Derzeit sind wir dabei unser Methodenbuch als englische Version zu überarbeiten (voraussichtliches Erscheinungsdatum Mitte 2025 bei Routledge). Darin wird es auch ein Kapitel zur Nutzung von Large-Language Models (LLMs), wie sie in ChatGPT, Gemini, CoPilot oder Claude zum Einsatz kommen, für die qualitative Forschung geben. Denn die großen Software-Anbieter Atlas.ti, MAXQDA und NVIVO haben in ihre Programme LLMs integriert, nicht zuletzt deshalb ist es dringend notwendig sich umfassend damit zu beschäftigen. Als ersten Schritt haben wir deshalb eine umfassende Literaturrecherche durchgeführt und empirische Studien zur Nutzung von LLMs für die qualitative Forschung ausgewertet (Stand September 2024). Diese möchten wir an dieser Stelle gerne teilen.

Als Ziele, warum die Nutzung von LLMs für die qualitative Forschung erprobt wird, werden Effizienz und Kostenersparnis des Forschungsprozesses sowie Analyse großer Datenmengen aufgeführt (Barany et al., 2024; Gao et al., 2023; Hamilton et al., 2023; Lixandru, 2024; Perkins & Roe, 2024; Turobov et al., 2024). Methodisch liegt der Fokus der bisherigen Analysen auf der Thematic Analysis, einer Methode zur Identifizierung, Analyse und Interpretation von Bedeutungsmustern („Themen“) in qualitativen Daten (Braun & Clarke, 2006). Da LLMs ebenfalls nach Mustern in Texten (Kommunikation) suchen, liegt es nahe, dass eine Anwendung für diese Methode zielführend sein könnte. Das gleiche gilt für die qualitative Inhaltsanalyse, wenn diese darauf abzielt Muster und Strukturen sowie Gemeinsamkeiten bzw. Unterschiede in Dokumenten zu finden. Allerdings liegen bisher keine Analysen der qualitativen Inhaltsanalyse mit LLMs vor, von Kuckartz & Rädiker ganz aktuell aber eine Anleitung für die Nutzung von LLMs in MAXQDA für die qualitative Inhaltsanalyse (Kuckartz & Rädiker, 2024). Neben der Analyse mit der Thematik Analysis gibt es eine Untersuchung zur Grounded Theory (Sinha et al., 2024), eine Untersuchung zur Dokumentarischen Methode (Schäffer & Lieder, 2023), ein Artikel zur Entwicklung eines Tools für die collaborative qualitative analysis (Gao et al., 2023) und ein Artikel zur Entwicklung eines Visualisierungstools zur Nachvollziehbarkeit der Analyse mit LLMs (Gauthier & Wallace, 2022).

Im Zentrum der bisherigen Studien steht die Frage, ob und wie LLMs für die Analyse qualitativer Daten genutzt werden können. Die meisten Studien kommen dabei zu dem Ergebnis, dass LLMs als KI-Assistant eingesetzt werden kann: „The comparative analysis in the current study suggests that AI should be seen as a complement to human analysis, rather than a replacement.” (Hamilton et al., 2023). Es gibt aber auch absolute Ablehnungen der Nutzung von LLMs für die qualitative Forschung: „In our view, LLMs tools are still very far from processes of logical-deductive reasoning, creation, understanding subjective aspects, and emotions, which differentiate man from machines” (Carius & Teixeira, 2024)

Die KI-Assistenz kann Forschenden dabei helfen, verschiedene Sichtweisen, Muster oder Zusammenhänge eines Phänomens zu identifizieren, die einem menschlichen Forscher allein möglicherweise nicht sofort zugänglich sind oder die Sichtweisen sogar herausfordern (De Paoli, 2023; Gauthier & Wallace, 2022; Goyanes et al., 2024; Hamilton et al., 2023; Perkins & Roe, 2024; Turobov et al., 2024; Wachinger et al., 2024; Zhang et al., 2023), Gao et al (2023) bezeichnen LLMs deshalb als Mediatoren. Die Analyse mit LLMs könnte dabei helfen sich die Daten schneller zu erschließen und neue Ideen und Fragen zu den Daten zu entwickeln, die ohne LLMs nicht gestellt worden wären, zudem können sie helfen die Codes zu clustern (Lixandru, 2024; Nguyen-Trung, 2024). Es wird sogar angenommen, dass LLMs dabei helfen können menschlichen Bias in der Interpretation der Daten, die aufgrund theoretischer Brillen oder sozial-kultureller Verortung vorhanden sein können, zu verringern (Jalali & Akhavan, 2024). Aufgrund des einfachen und kostenlosen Zugangs zu Tools wie ChatGPT sehen Perkins & Roe (2024) zudem eine Demokratisierung des Forschungsprozesses.

Neben den Möglichkeiten zeigen die Studien gleichzeitig auf, was für Unsicherheiten bzw. Problematiken in Bezug auf die Nutzung von LLMs bei der Analyse qualitativer Daten bestehen. Zuvorderst wird hierbei genannt, dass LLMs keinstenfalls die menschlichen Interpretationen und Analysen ersetzen können, da die momentanen Analysen/Interpretationen durch LLMs zu oberflächlich sind, den Kontext nicht ausreichend berücksichtigen, die Bedeutung hinter den Daten nicht interpretieren können und wenig divers sind (Barany et al., 2024; Gao et al., 2023; Goyanes et al., 2024; Hitch, 2023; Turobov et al., 2024). Das heißt auch, dass Forschende eine kritische Distanz zum Output der LLMs wahren und Bewertungen treffen müssen, welche Analysen/Interpretationen sie als sinnvoll erachten, um damit weiter zu arbeiten (Mesec, 2023). Zudem müssen Forschende, die mit LLMs arbeiten das sinnvolle Prompten, auch als Prompt-Engineering bezeichnet, als neues Skill erlernen (Chubb, 2023). Prompten bezeichnet die Eingabe die z.B. bei ChatGPT als Frage/Anforderung/Aufforderung eingeben wird. Deutlich wird aus den Studien, dass je nachdem welcher Prompt gesetzt wird unterschiedliche Ergebnisse bei der Analyse von qualitativen Daten erzeugt werden und es zudem auf die Textart, die Anzahl der Prompts und ob sie angeleitet oder intuitiv gestellt werden, ankommt (Kristensen-McLachlan et al., 2023; Mesec, 2023; Nguyen-Trung, 2024; Xiao et al., 2023). Da für eine gute Analyse meist ein sehr spezifisches und aufwändiges Prompten notwendig ist, stellt sich die Frage ob KI tatsächlich hilfreich ist, oder der Mensch es nicht doch besser direkt selbst macht (Goyanes et al., 2024), auch da sich ChatGPT beispielsweise nicht immer an die gegebenen Anweisungen hält (Nguyen-Trung, 2024).

Als problematisch wird gesehen, dass zwischen den LLMs und zwischen den Versionen eines Modells starke Unterschiede bestehen, die von den Entwicklern selten offen kommuniziert werden, wodurch eine Nachvollziehbarkeit und mögliche Reproduzierbarkeit der Ergebnisse nicht gegeben ist (Jalali & Akhavan, 2024; Kristensen-McLachlan et al., 2023). Gefordert wird entsprechend, dass die Forschung mit Unterstützung von LLMs immer transparent gemacht werden und in jedem konzeptionellen Stadium und bei jeder Entscheidung dokumentiert werden muss, damit wissenschaftliche Standards eingehalten werden (Gauthier & Wallace, 2022). Dies gilt insbesondere auch für die verwendeten Prompts (De Paoli, 2023; Turobov et al., 2024). Für die Nutzung von LLMs werden Verfahren der Visualisierung „process mining“ and „idea threads“ vorgestellt, die den Forschungsprozess und die darin getroffenen Entscheidungen transparent machen sollen (Lopez-Fierro & Nguyen, 2024). Zudem besteht die Gefahr, dass durch das schnelle Produzieren von Ergebnissen Forschende zu schnell mit diesen arbeiten, vom System „abhängig“ werden und die Ergebnisse nicht ausreichend hinterfragen (Gao et al., 2023).

Mit diesem sehr komprimiertem Literaturüberblick zur Nutzung von LLMs bei qualitativer Forschung hoffen wir einen kleinen Beitrag zur derzeit stattfindenden Diskussion zu leisten. Sehr freuen wir uns über weitere Literaturangaben zu empirischen Studien, in denen LLMs für die qualitative Forschung genutzt wurden.

Literatur

Barany, A., Nasiar, N., Porter, C., Zambrano, A. F., Andres, A. L., Bright, D., Shah, M., Liu, X., Gao, S., Zhang, J., Mehta, S., Choi, J., Giordano, C., & Baker, R. S. (2024). ChatGPT for Education Research: Exploring the Potential of Large Language Models for Qualitative Codebook Development. In A. M. Olney, I.-A. Chounta, Z. Liu, O. C. Santos, & I. I. Bittencourt (Eds.), Artificial Intelligence in Education (pp. 134–149). Springer Nature Switzerland. https://doi.org/10.1007/978-3-031-64299-9_10

Braun, V., & Clarke, V. (2006). Using thematic analysis in psychology. Qualitative Research in Psychology, 3(2), 77–101. https://doi.org/10.1191/1478088706qp063oa

Carius, A. C., & Teixeira, A. J. (2024). Artificial Intelligence and content analysis: The large language models (LLMs) and the automatized categorization. AI & SOCIETY. https://doi.org/10.1007/s00146-024-01988-y

Chubb, L. A. (2023). Me and the Machines: Possibilities and Pitfalls of Using Artificial Intelligence for Qualitative Data Analysis. International Journal of Qualitative Methods, 22, 16094069231193593. https://doi.org/10.1177/16094069231193593

De Paoli, S. (2023). Performing an Inductive Thematic Analysis of Semi-Structured Interviews With a Large Language Model: An Exploration and Provocation on the Limits of the Approach. Social Science Computer Review, 08944393231220483. https://doi.org/10.1177/08944393231220483

Gao, J., Choo, K. T. W., Cao, J., Lee, R. K.-W., & Perrault, S. (2023). CoAIcoder: Examining the Effectiveness of AI-assisted Human-to-Human Collaboration in Qualitative Analysis. ACM Trans. Comput.-Hum. Interact., 31(1), 6:1-6:38. https://doi.org/10.1145/3617362

Gauthier, R. P., & Wallace, J. R. (2022). The Computational Thematic Analysis Toolkit. Proc. ACM Hum.-Comput. Interact., 6(GROUP), 25:1-25:15. https://doi.org/10.1145/3492844

Goyanes, M., Lopezosa, C., & Jordá, B. (2024). Thematic Analysis of Interview Data with ChatGPT: Designing and Testing a Reliable Research Protocol for Qualitative Research. OSF. https://doi.org/10.31235/osf.io/8mr2f

Hamilton, L., Elliott, D., Quick, A., Smith, S., & Choplin, V. (2023). Exploring the Use of AI in Qualitative Analysis: A Comparative Study of Guaranteed Income Data. International Journal of Qualitative Methods, 22, 16094069231201504. https://doi.org/10.1177/16094069231201504

Hitch, D. (2023). Artificial Intelligence Augmented Qualitative Analysis: The Way of the Future? Qualitative Health Research, 10497323231217392. https://doi.org/10.1177/10497323231217392

Jalali, M. S., & Akhavan, A. (2024). Integrating AI language models in qualitative research: Replicating interview data analysis with ChatGPT. System Dynamics Review, n/a(n/a). https://doi.org/10.1002/sdr.1772

Kristensen-McLachlan, R. D., Canavan, M., Kardos, M., Jacobsen, M., & Aarøe, L. (2023). Chatbots Are Not Reliable Text Annotators (arXiv:2311.05769). arXiv. https://doi.org/10.48550/arXiv.2311.05769

Kuckartz, U., & Rädiker, S. (2024). Integrating Artificial Intelligence (AI) in Qualitative Content Analysis. https://www.qca-method.net. https://www.qca-method.net/documents/Kuckartz-Raediker-2024-Integrating-AI-in-Qualitative-Content-Analysis.pdf

Lixandru, I.-D. (2024). The Use of Artificial Intelligence for Qualitative Data Analysis: ChatGPT. Informatica Economica, 28(1/2024), 57–67. https://doi.org/10.24818/issn14531305/28.1.2024.05

Lopez-Fierro, S., & Nguyen, H. (2024). Making Human-AI Contributions Transparent in Qualitative Coding. https://repository.isls.org//handle/1/10537

Mesec, B. (2023). The language model of artificial inteligence chatGPT – a tool of qualitative analysis of texts. https://doi.org/10.22541/au.168182047.70243364/v1

Nguyen-Trung, K. (2024). ChatGPT in Thematic Analysis: Can AI become a research assistant in qualitative research? https://doi.org/10.31219/osf.io/vefwc

Perkins, M., & Roe, J. (2024). The use of Generative AI in qualitative analysis: Inductive thematic analysis with ChatGPT. Journal of Applied Learning & Teaching, 7(1). https://doi.org/10.37074/jalt.2024.7.1.22

Schäffer, B., & Lieder, F. R. (2023). Distributed interpretation – teaching reconstructive methods in the social sciences supported by artificial intelligence. Journal of Research on Technology in Education, 55(1), 111–124. https://doi.org/10.1080/15391523.2022.2148786

Sinha, R., Solola, I., Nguyen, H., Swanson, H., & Lawrence, L. (2024). The Role of Generative AI in Qualitative Research: GPT-4’s Contributions to a Grounded Theory Analysis. Proceedings of the 2024 Symposium on Learning, Design and Technology, 17–25. https://doi.org/10.1145/3663433.3663456

Turobov, A., Coyle, D., & Harding, V. (2024). Using ChatGPT for Thematic Analysis (arXiv:2405.08828). arXiv. https://doi.org/10.48550/arXiv.2405.08828

Wachinger, J., Bärnighausen, K., Schäfer, L. N., Scott, K., & McMahon, S. A. (2024). Prompts, Pearls, Imperfections: Comparing ChatGPT and a Human Researcher in Qualitative Data Analysis. Qualitative Health Research, 10497323241244669. https://doi.org/10.1177/10497323241244669

Xiao, Z., Yuan, X., Liao, Q. V., Abdelghani, R., & Oudeyer, P.-Y. (2023). Supporting Qualitative Analysis with Large Language Models: Combining Codebook with GPT-3 for Deductive Coding. Companion Proceedings of the 28th International Conference on Intelligent User Interfaces, 75–78. https://doi.org/10.1145/3581754.3584136

Zhang, H., Wu, C., Xie, J., Lyu, Y., Cai, J., & Carroll, J. M. (2023). Redefining Qualitative Analysis in the AI Era: Utilizing ChatGPT for Efficient Thematic Analysis (arXiv:2309.10771). arXiv. http://arxiv.org/abs/2309.10771

---

---