Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

Mit KI (Elicit) den Forschungsstand beschreiben – ein kritischer Erfahrungsbericht

Einleitung

Dieser Blogbeitrag beschäftigt sich kritisch mit der (Teil-)Automatisierung der Literatursuche, -recherche, sowie der Zusammenfassung eines Forschungsstandes mithilfe digitaler Tools. Aktuell gibt es verschiedene Anbieter und Start-Ups, die eine stetige (Weiter-) Entwicklung von Softwareprodukten anbieten, um Forschende dabei zu unterstützen die relevante Forschungsliteratur zu einer Fragestellung zu finden und den Forschungsstand zusammen zu fassen (Cao et al. 2025; Kelly 2025). Auch zeigt sich in den letzten Jahren ein großer Anstieg der Publikation von Literaturüberblicke/Systematic Reviews, der durchaus kritisch zu betrachten ist.

Spätestens seit der Veröffentlichung von ChatGPT durch Open.AI sind LLMs, also große Sprachmodelle mit textgenerativer Fähigkeit, in der öffentlichen Diskussion angekommen. Sie basieren auf einem festen Korpus an Trainingsdaten und werden genutzt, um z.B. Texte zusammenzufassen oder auch Formulierungshilfen im Schreibprozess zu geben. Darüber hinaus gibt es sogenannte RAG-Systeme, die die generative Fähigkeit der LLMs mit der Funktion von Suchmaschinen oder Datenbanken kombinieren. Dadurch kann ein Bezug zwischen den generierten Antworten und den Suchergebnissen hergestellt und die Genauigkeit und Relevanz von Suchergebnissen und damit dem generierten Output/Text verbessert werden (Kelbert 2024). Sie werden vielfach in Softwareanwendungen verwendet, die z.B. Literatur-Reviews erstellen.

Jedoch ist es fraglich, ob RAG-Systeme überhaupt in der Lage sind, die Komplexität und Nuancen von wissenschaftlichen Texten zu verstehen. Dieser Blogbeitrag setzt sich kritisch mit der Verwendung von Elicit als Beispiel für eine Anwendung auseinander, die das Erstellen eines Literaturüberblicks/Forschungsstandes automatisiert, und beleuchtet im Sinne der kritischen Plattformforschung die teilweise verdeckten Mechanismen der Softwareanwendung.

Teil-Automatisierung von Literaturüberblicken – Funktionsweisen der Software

Die Software erlaubt es nach der Anmeldung in der kostenpflichtigen Version ein Systematic Literature Review zu erstellen in dem über 200 Artikel pro Monat aufgenommen werden. In der kostenfreien Version können im Rahmen eines „Research Reports“ 50 Literatureinträge gescannt und automatisiert 10 Artikel ausgewertet werden. Es werden real existierende Artikel dargestellt, jeweils mit Angabe der DOI und/oder Verlinkung der Artikel auf die Webseite der Zeitschrift.  

Die:Der Anwender:in hat jedoch keine Möglichkeit in den Generierungsprozess einzugreifen und die Auswahl der 10 Artikel zu beeinflussen. Es gibt keine Transparenz über den Auswahlprozess, jedoch scheint es eine Fokussierung auf peer-reviewte Zeitschriftenartikel zu geben, die in Semantic Scholar gelistet sind. Es wird eine Tabelle generiert, in der die Screening-Kriterien sichtbar werden, wie z.B. der Fokus der Studien, die Zielgruppe und das Studiendesign. Diese Kriterien variieren je nach Prompt leicht, sind jedoch im am PRISMA-Schema für Systematic Literature Reviews orientiert. Anschließend extrahiert die Software „Data-Points“ aus den Artikeln, die dann in einer tabellarischen Ansicht einen Überblick über die 10 Artikel geben.

Die Funktionsweise von Elicit legt nah, dass auf Datenbanken wie Semantic Scholar oder Crossref zurückgegriffen wird. Auch wirkt es so, als wäre die Software anhand von bestehenden Systematic Literature Reviews trainiert/fine getuned worden, da sich der Sprachgebrauch der Zusammenfassung dem von, vor allem im quantitativen/naturwissenschaftlichen Bereich üblichen, Systematic Literature Reviews orientiert. Es werden z.B. die demographischen Daten aller Studienteilnehmenden akkumuliert ausgegeben, sowie deren Altersspanne und im Falle der Schulforschung die jeweiligen Jahrgangsstufen, in denen die Studien durchgeführt worden sind. Dann wird eine Tabelle generiert, die zeigt, wann Elicit auf den Volltext zugreifen konnte. Abschließend wird ein „Research Report“ erstellt, der die Ergebnisse der Artikel zusammenfassen möchte.

Analyse der Anwendung Elicit

Die Plattformforschung beschäftigt sich mit den Mechanismen von Plattformen und untersucht in Plattformen eingeschriebenen (machtvollen) Dynamiken.

Bei der Nutzung von Elicit fällt auf, dass z.B. englischsprachige Artikel, die in peer-reviewten und open access Zeitschriften veröffentlicht worden sind, deutlich besser und häufiger in den „Research Reports“ auftauchen als z.B. deutschsprachige Veröffentlichungen, selbst wenn im Prompt explizit auf den Deutschen Kontext fokussiert wurde. Auch sind die Zusammenfassungen von Open Access veröffentlichten Beiträgen detaillierter, da hierfür von Elicit nicht nur auf das Abstract zugegriffen wird.

Es zeigt sich, dass durch die Anbindung an Datenbanken wie CrossRef und Semantic Scholar eine Fokussierung auf Publikationsformen (Sammelband/Buch/Artikel in Zeitschrift mit peer-review) und eine Verstärkung der Fokussierung auf Englischsprachige Forschung (Wieczorek et al. 2025; vgl. auch https://sozmethode.hypotheses.org/2801) stattfindet. Auch zeigen Forschung zu den Datenbanken, wie SCOPUS und Web of Science, dass bestimmte Disziplinen und Regionen deutlich weniger häufig in den Datenbanken abgebildet werden (spezifisch für Afrika (Asubiaro & Onaolapo 2023) und für Brasilien (Mills & Inouye 2021)).

Zwar wird durch die Anbindung des RAG-Systems an eine Datenbank-Abfrage die Suche auf existierende Publikationen beschränkt, sowie eine Generierung von “Zusammenfassungen” ermöglich, jedoch sind gerade Disziplinen, die eher deutschsprachig oder in Sammelbänden publizieren weit sind weniger sichtbar. Auch ist für die Verwendung von Elicit ein Prompten in Englisch vorteilhaft, was gerade diejenigen Nutzer:inne benachteiligt, die nicht über diese Sprachkenntnisse verfügen.

Insgesamt zeigt sich bei der Verwendung des Programms, das globale Hierarchien des Wissenschaftssystems in die Softwareanwendung eingeschrieben sind. Zwar ist es möglich Elicit für die Literaturrecherche zu werden, jedoch müssen die Limitationen der Software reflektiert und über andere Suchstrategien ausgeglichen werden.

Fazit

Die Analyse der Softwareanwendung Elicit zeigt, dass diese Machtdynamiken des Wissenschaftssystems reproduziert, die in den Datenkorpora zu finden sind (Fokus auf bestimmte Fachdisziplinen und englischsprachige Publikationen aus dem globalen Norden).

Für die qualitative soziologische Forschung im Kontext von Bildung/Praxistheorie würde ich die Verwendung in der Funktionsweise der Literaturzusammenfassung (Stand Juli 2025) nicht empfehlen. Anwender:innen haben nicht die Möglichkeit in den Prozess einzugreifen und können keine Auswahl der Beiträge vornehmen, bzw. diese verändern. Die generierten Zusammenfassungen sind oberflächlich und beziehen sich häufig nur auf das Abstract, da Elicit nicht auf den Volltext zugreifen kann. Außerdem stellt sich die Frage, welchen Mehrwert die Anwendung bietet, wenn zur Überprüfung der Resultate sowieso alle Artikel manuell gelesen werden müssen, was zur Sicherstellung der Qualität des eigenen Schreibprozesses unbedingt erforderlich ist.

Literaturverzeichnis:

Asubiaro, T. V., & Onaolapo, S. (2023). A comparative study of the coverage of African journals in Web of Science, Scopus, and CrossRef. Journal of the Association for Information Science and Technology, 74(7), 745–758. https://doi.org/10.1002/asi.24758
 
Cao, C., Arora, R., Cento, P., Manta, K., Farahani, E., Cecere, M., Selemon, A., Sang, J., Gong, L. X., Kloosterman, R., Jiang, S., Saleh, R., Margalik, D., Lin, J., Jomy, J., Xie, J., Chen, D., Gorla, J., Lee, S., … Bobrovitz, N. (2025). Automation of Systematic Reviews with Large Language Models (S. 2025.06.13.25329541). medRxiv. https://doi.org/10.1101/2025.06.13.25329541
 
Kelbert, T. H., Dr Julien Siebert, Patricia. (2024, Mai 13). Retrieval Augmented Generation (RAG): Chat mit eigenen Daten. Fraunhofer IESE. https://www.iese.fraunhofer.de/blog/retrieval-augmented-generation-rag/
 
Kelly, S. (2025). Library Guides: Systematic Reviews: Software: Rayyan.ai. https://guides.lib.olemiss.edu/systematicreviews/software-rayyan-ai
 
Mills, D., & Inouye, K. (2021). Problematizing ‘predatory publishing’: A systematic review of factors shaping publishing motives, decisions, and experiences. Learned Publishing, 34(2), 89–104. https://doi.org/10.1002/leap.1325
 
Wieczorek, O., Steinhardt, I., Schmidt, R., Mauermeister, S., & Schneijderberg, C. (2025). The Bot Delusion. Large language models and anticipated consequences for academics’ publication and citation behavior. Futures, 166, 103537. https://doi.org/10.1016/j.futures.2024.103537
 
(Überarbeitung des Literaturverzeichnisses am 11.08.2025 – Einfügen der Links zu dem Beiträgen)

OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Rebecca Schmidt (8. August 2025). Mit KI (Elicit) den Forschungsstand beschreiben – ein kritischer Erfahrungsbericht. Sozialwissenschaftliche Methodenberatung. Abgerufen am 15. November 2025 von https://doi.org/10.58079/14gup


2 Gedanken zu „Mit KI (Elicit) den Forschungsstand beschreiben – ein kritischer Erfahrungsbericht“

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

This site uses Akismet to reduce spam. Learn how your comment data is processed.