Chat GPT as Data Scientist

Zu sehen ist der Chatverlauf mit Chat GPT.

Fast täglich werden neue Anwendungsmöglichkeiten von Chat GPT vorgestellt, unter anderem auch der „Code Interpreter“, der quantitative Daten auswerten und visualisieren kann. Die Nutzung des Code Interpreters als Data Scientist wurde kurz nach der Veröffentlichung äußerst enthusiastisch in Sozialen Medien diskutiert. Doch welche Möglichkeiten und welche Risiken stecken in dem Tool, wenn der Interpreter als Data Scientist genutzt wird?

Diese Fragen haben Lea Biere, Sabine Herberth und ich uns gestellt und an der „DEiVHERSS Competition – Advanced Data Enrichment and Visualization Techniques in Higher Education Research and Science Studies“ teilgenommen. Unsere Analyse war von dem Gedanken geleitet, herauszufinden inwiefern Chat GPT als Unterstützung für eine Analyse mit quantitativen Datensätzen genutzt werden kann. Um zu erproben, was passiert, wenn Chat GPT als Data Scientist arbeitet haben wir dessen Code Interpreter um folgenden Prompt gebeten: „Here is the dataset. Please create “intersectional analyses and interpretations” of the data. You are the data scientist!”“.

Damit Chat GPT dies tun kann, muss zunächst ein Datensatz hochgeladen werden. Hierzu haben wir den Eurostudent Datensatz genutzt. Beim Hochladen kann das erste Problem auftreten, da die Datei nur eine gewisse Größe haben darf (das war in unserem Fall kein Problem). Das zweite Problem beim Upload stellt der Datenschutz dar, der nicht erlaubt, die Originaldaten zu nutzen. Deshalb haben wir einen Übungs-Datensatz erstellt.

Interessiert hat uns besonders, welche Variablen der Code Interpreter auswählt. Entsprechend haben wir den Prompt zunächst offen gestellt, uns dann aber eine Definition von Intersektionalität geben lassen. Wie die Abbildung zeigt, hat der Code Interpreter die Variablen „country, financial difficulties, living situation und study intensity“ ausgewählt, die gegebene Definition von Intersektionalität beinhaltet aber „ethnicity, class, sexuality, disability, age and more“.

Zu sehen ist eine Power Point Folie auf der Start of the Analysis ChatGPT said:
“Intersectionality primarily focuses on how different social identities intersect and influence outcomes. In the context of this dataset, we can explore how different factors like country, financial difficulties, living sit., and study intensity combine to influence students' experiences.”
Answer concerning its understanding of intersectionality:
“Intersectionality is a theoretical framework that examines how various social and cultural identities intersect and overlap, leading to unique experiences of privilege and discrimination. The term was coined by Kimberlé Crenshaw in the late 1980s to address the specific ways in which race and gender intersected to shape the experiences of Black women. However, the concept has since expanded to include a broad range of identities such as ethnicity, class, sexuality, disability, age, and more.

Zentrales Ergebnis ist entsprechend, dass die ausgewählten Variablen nicht aufgrund von klassischen Intersektionalitätsdefinitionen gewählt wurden, es also keine deduktive Herangehensweise gibt. Dies ist logisch, da der Code Interpreter auf Chat GPT 4 und damit auf Language Learning Models, die auf Wahrscheinlichkeiten beruhen. Konkret heißt das, dass jede ausgegebene Silbe eine Wahrscheinlichkeit aufweist, mit der diese an die vorherige Silbe angegliedert wird (vgl. Open AI Playground). Es kann also kein theoretisch fundiertes Vorgehen erwartet werden – was wir auch nicht antizipiert haben. Vielmehr wollten wir wissen, ob der Code Interpreter uns Zusammenhänge aufzeigt, die wir bisher so nicht antizipiert oder theoretische abgeleitet haben. Grundlage für diese Annahme war, dass Chat GPT auf sehr unterschiedliche (eventuell auch mit starkem Bias) Trainingsdaten zugreift und damit Zusammenhänge aufzeigt, die bedenkenswert sind. Oder ob sich Muster der Analyse erkennen lassen, ob z.B. bestimmte Dimensionen von Intersektionalität häufiger berücksichtig werden.

Wir haben Chat GPT ebenfalls gebeten uns Auswertungen anzufertigen und uns zu benennen, wie Intersektionalität (im Sinne einer Verwobenheit) berechnet werden kann. Als Ergebnis nutzte er die oben gegeben Variablen, die er deskriptiv paarweise verband (z.B. country und financial difficulties), obwohl er multivariate Methoden vorschlug. Am Ende der Analyse war es vage möglich, eine vereinfachte, intersektionale Zusammenfassung der Ergebnisse auf Basis mehrerer Variablen zu erahnen. Mit Vorwissen und Fantasie wäre es den Forschenden am Ende also möglich, auch mehr als zwei Variablen miteinander zu verbinden. Dies ist jedoch nicht ausreichend für eine hochwertige intersektionale Analyse.

Woran könnten die aufgezeigten Ergebnisse liegen? Erstens haben wir festgestellt, dass der Code Interpreter mit dem Datensatz „überfordert“ war. Die enthaltenen 256 Spalten konnten nur exemplarisch ausgewertet werden. Zweitens fehlte für die Analyse der Kontext. Es wurde deutlich, dass Chat GPT zunächst in das Feld „eingeführt“ und „ausgerichtet“ werden muss, damit das Tool weiß, in welchem Kontext es sich bewegen soll. Das heißt Forschende, die Chat GPT nutzen, brauchen umfassendes Feldwissen, um Chat GPT eindeutige Prompts geben zu können. Drittens scheint sich Chat GPT an das „Niveau“ der promptenden Person anzupassen. Wenn eine einfache, oberflächliche Frage gestellt wird, kann nicht erwartet werden, eine komplexe und tiefgründige statistisch-mathematische Analyse zu erhalten.

Aufgrund dieser Ergebnisse planen wir folgende weitere Schritte:

  1. Reduktion der Variablen, so dass der Code Interpreter damit umgehen kann. Hier ist v.a. zu klären ab wie vielen Variablen nicht mehr exemplarisch Variablen herausgegriffen werden.
  2. Den Prompt verändern und zunächst Kontextinformationen geben. Damit würde der bisherige induktive Ansatz in einen deduktiven Ansatz überführt werden, bei dem Chat GPT eine Definition von Intersektionalität und Analysemethoden vorgegeben und die Aufforderung gestellt wird, in den Daten Intersektionalität zu identifizieren.
  3. Die Analyse auf den Originaldatensatz übertragen, um auch wahre Aussagen treffen zu können. Denn die Ergebnisse einer intersektionalen Analyse sind neben den Erkenntnissen über den Code Interpreter ebenfalls wertvoll.

Derzeit haben wir die Idee eine Simulationsstudie durchzuführen, d.h. unseren Prompt sehr häufig durch Chat GPT ausführen zu lassen, und dann die Antworten (und den Code) qualitativ auszuwerten, um die Güte der Ergebnisse zu bewerten.

Cite this article as: Biere, Lea & Steinhardt, Isabel (2023): Chat GPT as Data Scientist. In: Sozialwissenschaftliche Methodenberatung (ISSN 2748-7784), 16/10/2023, https://sozmethode.hypotheses.org/2098.


OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Isabel Steinhardt (16. Oktober 2023). Chat GPT as Data Scientist. Sozialwissenschaftliche Methodenberatung. Abgerufen am 15. Juli 2024 von https://doi.org/10.58079/uiqq


Ein Gedanke zu „Chat GPT as Data Scientist“

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search