KI und qualitative Forschung – viele Fragen

Am 08.03.2024 hat der Workshop KI und qualitative Methoden/Daten stattgefunden. Organisiert war der Workshop partizipativ, um möglichst viel Austausch und das Lernen voneinander zu ermöglichen. Für einen Überblick, was alles diskutiert wurde, hat Marie-Ann Kückmann ein Scetchnote-Protokoll angefertigt (siehe Titelbild) – Herzlichen Dank dafür! Was sich deutlich zeigte war, dass es in Bezug auf die diskutierten Aspekte noch wenig Erfahrungen gibt und Fragen offen blieben. Da es in meinen Augen wichtig ist, weiter über die aufgeworfenen Fragen zu diskutieren, möchte ich meine subjektive (und oft zugespitze) Auswahl der Fragen hier einmal gebündelt darstellen. Mein Dank gilt allen, die am Workshop teilgenommen (siehe Liste unten) und so viele Fragen aufgeworfen haben! Ich habe mich hier bewusst dagegen entschieden auch die diskutierten Antworten aufzunehmen, da dies den Rahmen sprengen würde. Dafür wird es sicherlich weitere Veranstaltungen geben!

Datenschutz

Datenschutz siehe dazu auch eine Checkliste der Universität Hamburg

• Sind die momentanen KI-Tools datenschutzkonform? Siehe dazu auch den Blogbeitrag von Christian Schneijderberg AI ASSIST in MAXQDA 24 derzeit nicht datenschutzkonform?
• Können wir uns im Umgang mit KI auf die Ausnahmeregelungen DSVGO für wissenschaftliche Datenerhebung/-verarbeitung stützen? Wenn ja, unter welchen Bedingungen?
• Wie hoch ist das Risiko einer De-Pseudonymisierung durch die Nutzung von KI-Tools, die mit GPT von Open AI arbeiten, auch wenn anonymisierte Daten verwendet werden?
• Was sind die ethischen Anforderungen an Forschung in Bezug auf KI-Tools, die über Datenschutz hinausgehen?
• Welche Folgenabschätzung müssen die einzelnen Forschenden vornehmen?
• Was wird durch den europäischen AI-Act (https://artificialintelligenceact.eu/de/) geregelt und was bedeutet dieser für Forschung?
• Wie können Studierende gut auf die vielen noch unklaren Regelungen vorbereitet werden?

Gütekriterien

• Können wir die qualitativen Gütekriterien, die wir haben, auf den Output von z.B. ChatGPT anwenden oder brauchen wir neue Gütekriterien, bzw. welche Weiterentwicklung braucht es? Oder sind Gegenstandsangemessenheit und Nachvollziehbarkeit ausreichend?
• Werden „neuere“ Kriterien wie z.B. textuelle Performanz durch KI hinfällig, wenn Large Language Modelle x-beliebige Sprachstile imitieren können?
• Brauchen wir andere/neue Samplingstrategien, wenn immer größere Datenmengen verarbeitet werden?
• Welche Maßstäbe können wir an die Large Language Modelle stellen in Bezug auf Bias, Subjektivität, Reflexivität?

Epistemologien und Theorie

• Wie gehen wir mit den Ergebnissen durch Large Language Modelle-produzierte Daten um und wie interpretieren wir diese?
• Wie gehen wir mit mangelnder Transparenz um, da wir nicht wissen wie die Large Language Modelle lernen oder welche Filter gesetzt wurden?
• Wenn wir davon ausgehen, dass die Large Language Modelle eine “Common-Sense-Maschine” sind (was sehr diskussionswürdig ist), wie gehen wir damit um? Vor allem, weil naheliegende Antworten gegeben werden, aber kein „neues“ Wissen generiert wird.
• Wie gehen wir mit Prompts um? Welche Form von Daten sind das?

Open Sciene

• Wie kann Forschung mit KI offen gestaltet sein, wenn Trainingsdaten, Modelle und Prompts bei den meisten Large Language Modellen (wie z.B. bei GPT von Open AI) nicht offen zugänglich sind?
• Wie muss eine Veröffentlichung aussehen, die mit Large Language Modellen durchgeführt wurde? Braucht es dazu einen umfassenden Datenanhang, der Prompts und Ausgaben darstellt?
• Können Large Language Modellen als Autor*in im Forschungsprozess angesehen werden? Oder sind sie nur technische Werkzeuge und müssen daher nicht explizit genannt werden (wir benennen z.B. auch nicht das Schreibprogramm Word)?
• Wie sind die Nutzungsbedingungen von den mit Large Language Modellen produzierten Daten?
• Wie gehen wir mit unterschiedlichen Ressourcen in Bezug auf Large Language Modelle und Software, die diese nutzen um? Bei den meisten Angeboten handelt es sich nicht um kostenlose Open Source Angebote, d.h. wer hat darauf Zugriff?

Teilnehmer*innen in alphabetischer Reihenfolge

Robert Aust (HOF Halle-Wittenberg), Lea Biere (Universität Paderborn), Sarah Blakeslee (Charité Berlin), Alexander Chmelka (Otto-von-Guericke-Universität Magdeburg), Kai Dröge (Hochschule Luzern; Institut für Sozialforschung an der Goethe-Universität Frankfurt), Susanne Friese (Qeludra B.V. Rotterdam), Yves Jeanrenaud (LMU München), Thomas Güte (TH Rosenheim), Brigitte Gasser (Universität Zürich), Heidemarie Hanekop (FDZ eLabour), Franziska Heinze (Deutsches Jugendbuchinstitut), Johannes Hiebl (DIPF Frankfurt), Markus Hoffmann (TU Berlin), Erik Hofedank (Katholische Hochschule für Sozialwesen Berlin), Marie-Ann Kückmann (Universität Paderborn), Fabio Lieder (Universität der Bundeswehr München), Tom Meyer (Ruhr-Universität Bochum), Thomas Raucheger (LMU München), Rebecca Schmidt (Universität Paderborn), Colette Schneider Stingelin (Zürcher Hochschule für Angewandte Wissenschaften), Christian Schneijderberg (INCHER Universität Kassel), Isabel Steinhardt (Universität Paderborn), Miriam Vetter (OTH Regensburg), Lisa Walter (Leibniz Universität Hannover)

---

---