Gedankenexperiment als sozialwissenschaftliche Methode

Durch die Einführung generativer KI wie z.B. ChatGPT sehen wir uns derzeit vielfältigen Entwicklungen gegenüber, für dessen Beforschung wir noch keine Daten zur Verfügung haben. Was also tun, wenn soziale Phänomene auf der Hand liegen, aber keine empirischen Daten vorliegen bzw. es noch Jahre dauern wird, bis Effekte sichtbar werden? Die Lösung des Problems bietet die Methode des Gedankenexperiments, die wir in diesem Beitrag am Beispiel unseres Anfang 2025 Open Access erschienenen Artikels “The Bot Delusion. Large language models and anticipated consequences for academics’ publication and citation behavior” vorstellen wollen.

Gedankenexperimente haben in der Physik und Philosophie eine lange Tradition, vielleicht haben Sie schon einmal von Schrödingers Katze oder dem Trolley-Problem gehört. In der Soziologie wie auch in anderen Sozialwissenschaften, die sich als empirische Wissenschaft(en) versteht, ist die Methode des Gedankenexperiments nicht sehr verbreitet, was schade ist, denn Gedankenexperimente stellen eine angeleitete Form dar, über alternative Zukünfte und Szenarien nachzudenken und Transformationspfade zwischen bestehenden sozialen Mustern und erwünschten sozialen Strukturen zu erklären (Hill 2005). Dennoch behandeln wir in der Soziologie und anderen Sozialwissenschaften häufig Fragen wie “Was wäre, wenn” oder “Angenommen, ein Prozess, eine Struktur, ein Verfahren usw. wäre anders” und führen damit Gedankenexperimente durch, ohne sie methodisch als solche zu kennzeichnen (Betta/Swedberg 2021). Problematisch ist beispielsweise, dass das Gedankenexperiment als Theorieentwicklung gelabelt wird, ohne explizit zu machen, welche unterschiedlichen Szenarien und Zukunftsvorstellungen der Theorie zugrunde liegen.

Dabei kann das Gedankenexperiment als methodisch-systematisches Experiment verstanden werden, da es die funktionale Abhängigkeit von Variablen oder Situationen durch geplante und kontrollierte Veränderung untersucht. Außerdem hängt jedes Gedankenexperiment, ähnlich wie reale Experimente, von einigen Hintergrundannahmen oder Hintergrundtheorien ab und funktioniert (in den Sozialwissenschaften) nur, wenn es auf realen Bedingen beruht (Brendel 2004). Genau hier haben wir angesetzt und theoriegeleitet unterschiedliche Szenarien und Zukünfte zu einem sozialen Problem entwickelt, indem wir die Daten kontrolliert variierten.

Aus den methodischen Grundannahmen des Gedankenexperiments haben wir fünf Schritte für eine sozialwissenschaftliche Anwendung abgeleitet, die wir hier knapp mit Bezug zu „The Bot Delusion“ darstellen:

1. Definition des sozialen Phänomens (Untersuchungsgegenstand): Grundlage unseres Gedankenexperiments war die Beobachtung, dass es immer mehr KI-Tools gibt, die Literaturzusammenfassungen und Zitationsvorschläge unterbreiten. Diese basieren auf Large-Language Models (LLMs), die nicht transparent (Open Source) sind, weshalb unklar ist, wie sie funktionieren und auf welchen Daten sie basieren. Da davon auszugehen ist, dass Wissenschaftler*innen diese KI-Tools nutzen, stellt sich die Frage, welche Effekte in Bezug auf Publikationen und Zitationsverhalten unter Berücksichtigung unterschiedlicher Varianten von LLMs eintreten.
2. Festlegung der theoretischen Basis: Um das Gedankenexperiment durchzuführen, haben wir zunächst auf das Konzept des Matthew-Effekts von Merton (1968) zurückgegriffen, das besagt: „Wer viel hat, dem wird noch mehr gegeben“. In unserem Fall sind drei Dimensionen des Matthew-Effekts relevant: die Prestigehierarchie von Forschern und Disziplinen sowie, zweitens, der Zugang zum Publikationssystem und den darin enthaltenen Publikationen. Drittens gehen wir davon aus, dass Forschende einen normativen Kompass haben, an dem sie sich orientieren, wenn sie Forschung betreiben. Dabei greifen wir auf Mertons (1973) CUDOS Normen und Mitroffs (1974) SPIOD Gegennormen zurück.
3. Klärung grundsätzlicher und realistischer Annahmen: Erstens gehen wir davon aus, dass LLMs zeitnah in der Lage sein werden, Forschungsergebnisse (z.B. Artikel) korrekt zu zitieren und zu kontextualisieren und so individuelle Forschungsunterstützung auf der Grundlage von Forschungshistorie, Interessen und Bedürfnissen zu bieten. Auf diese Weise könnten LLMs Muster, Trends und Lücken in großen Mengen von Forschungsdaten schneller erkennen als Forscher*innen und auf Forschungsarbeiten und Veröffentlichungen in vielen Sprachen zugreifen, da automatische Übersetzungen möglich sind. Zweitens gehen wir davon aus, dass Forscher*innen den Ergebnissen von LLMs bis zu einem gewissen Grad vertrauen.
4. Kontrollierte Datenveränderung durch Entwicklung von Szenarien: Um unterschiedliche Szenarien und darauf aufbauende Zukünfte gedankenexperimentell entwickeln zu können, ist es notwendig Daten kontrolliert zu verändern. In unserem Fall sind das folgende Daten: Erstens die Daten, mit denen die LLMs für KI-Tools zur Unterstützung von Zitationen und Publikationen trainiert werden. Zweitens verändern wir die Daten wie sich Forschende normativ verhalten könnten (entsprechend der oben beschriebenen Normen und Gegennormen).
   • Szenario 1: „Reproducing Content and Status Quo“ geht davon aus, dass LLMs lernen, dass eine Zitation aufgrund der (höchsten) Anzahl von Zitationen, des Prestiges der Zeitschrift (hoher Impact-Faktor) und des Prestiges der*des Forschenden vorgeschlagen wird, wenn sie z.B. die gleichen Schlüsselwörter enthalten.
   • Szenario 2: „Content Coherence Evaluation“ geht davon aus, dass die Ähnlichkeit zwischen Textsegmenten, z.B. aus den Abschnitten Methoden oder Diskussion, das Hauptkriterium für die LLM-Programmierung sein wird, um Zitiervorschläge für Wissenschaftler*innen zu generieren.
   • Szenario 3: „Content Evaluation“ geht davon aus, dass aufbauend auf Szenario 2 eine menschliche Bewertung und damit ein menschlicher Eingriff in die Auswahl durch das LLM und damit eine Feinabstimmung (Reinforcement Learning from Human Feedback) der Ergebnisse möglich ist.
5. Entwicklung und Diskussion von Zukünften: Mit Bezug zu den drei Szenarien und unter Berücksichtigung des normativen Verhaltens von Forschenden konnten wir schlussendlich drei Zukünfte im theoriegeleiteten Gedankenexperiment diskutieren:
   • Zukunft 1: „Status quo science future (based on scenario 1)“: In dieser Zukunftsvision priorisieren LLMs Metriken vor Inhalten, was zu einer Reproduktion von viel zitierten Artikeln oder Forschenden bzw. Institutionen mit hohem Prestige führt, es kommt zu einer Stasis. Damit werden die bekannten sozialen Ungleichheitsstrukturen in der Wissenschaft perpetuiert, die durch das statuserhaltende und -suchende Verhalten von Wissenschaftler*innen (Reputationsgewinn durch Zitation), finanzielle Ressourcen (Bezahlung von Open-Access-Publikationen) und die Dominanz der englischen Sprache entstehen.
   • Zukunft 2: „Mixed-access science future (based on scenario 2)”: In dieser Zukunft basieren die LLM-Vorschläge zwar auf inhaltlichen Gemeinsamkeiten und nicht auf Metriken, allerdings haben die Wissenschaftler*innen keine Möglichkeit der direkten Qualitätskontrolle. Daher müssen die Zitationsvorschläge selbst überprüft werden, was nur bei zugänglichen Publikationen der Fall ist. Eine anfängliche Katharsis kann daher aufgrund des Aufwands schnell in eine Stasis umschlagen.
   • Zukunft 3: „Open science future (based on scenario 3)”: Da die Zitationsvorschläge auf inhaltlicher Kohärenz in Verbindung mit menschlicher Bewertung basieren, ist eine Qualitätskontrolle möglich. In der Zukunft der offenen Wissenschaft dienen LLMs dazu, das vielfältige, forschungsrelevante Wissen in Publikationen zu identifizieren und zu zitieren. Eine Katharsis könnte stattfinden.

Das vorgestellte Gedankenexperiment konnte nur sehr verkürzt wiedergegeben werden. Bitte lesen Sie den gesamten Artikel “The Bot Delusion“, wenn Sie die Feinheiten der Theorien, Daten und vor allem der Szenarien und Zukünfte verstehen wollen. In diesem Blogbeitrag ging es uns darum zu zeigen, wie nützlich die Methode des Gedankenexperiments sein kann, wenn keine ausreichenden Daten für eine empirische Untersuchung vorliegen. Wir gehen jedoch davon aus, dass unsere Szenarien und Zukünfte in einigen Jahren überprüft werden können.

Literatur