Am 29.Mai 2024 habe ich das von Dr. Sylvi Mauermeister, Lea Biere und mir entwickelte Befragungsinstrument zu Digitaler Spaltung und KI im Studium beim TRR 318 „Constructing Explainability“ vorgestellt. Der Vortrag wurde aufgezeichnet, so dass ich ihn hier verlinken kann. Das Befragungsinstrument ist Teil unseres gemeinsamen Forschungsprojektes, das untersucht, ob durch die neu aufkommenden KI-Tools im Studium eine (neue) digitale Spaltung (van Deursen & van Dijk, 2019; Zillien & Marr, 2013) entsteht. Denn Studierende nutzen KI-Tools zur Ideenfindung, zum Schreiben, Korrigieren und Recherchieren (KI-Assistenz im Studium – Meinung). Wie bei der Einführung anderer Informations- und Kommunikationstechnologien (IKT) ist zu erwarten, dass es Unterschiede in der Nutzung, Akzeptanz, Kenntnis und Kompetenz im Umgang mit KI-Tools gibt, die stark mit sozialen Faktoren zusammenhängen.
Um dieser Annahme nachzugehen haben wir ein Befragungsinstrument entwickelt, das sich aus bereits existierenden Skalen in diesem Themenfeld sowie selbst entwickelten Skalen zusammensetzt. Dazu haben wir zwei systematische Literaturrecherchen (LINK) durchgeführt: zum einen zur Frage, welche empirischen Erkenntnisse bereits vorliegen, um auf bestehenden Studien aufzubauen, zum anderen zu Skalen und Befragungsinstrumenten zum Digital Divide sowie zu Akzeptanz, Nutzung und Kompetenzen in Bezug auf KI. Das Befragungsinstrument lässt sich wie folgt darstellen:
Die Validität des entwickelten Erhebungsinstruments wurde zunächst mit Hilfe einer Think-Aloud-Evaluation (Weichbold 2022) mit Studierenden überprüft. Dabei füllen die Testpersonen den Fragebogen aus und sprechen laut aus, wie sie die Fragen verstehen bzw. welche Schwierigkeiten sie beim Verstehen der Fragen haben. Damit wird getestet, ob die Fragen so verstanden werden, wie die Entwickler*innen sie gemeint haben und welche (oder im besten Fall keine) Unterschiede im Verständnis der Testpersonen bestehen.
Anschließend haben wir einen Pretest an der Universität Paderborn durchgeführt, um die Konstruktvalidität zu prüfen. Mittels Crombachs Alpha haben wir die Reliabilität der Skalen und mittels Faktorenanalyse die Zusammenhänge zwischen den Variablen geprüft Dabei zeigte sich, dass bis auf die Skala zu AI-Literacy, also die Skala zur Selbsteinschätzung der Kompetenzen, das Befragungsinstrument gut bis sehr gut funktioniert hat. Die einzelnen Skalen stelle ich im Video vor, ebenso wie die ersten Ergebnisse aus dem Pretest, die allerdings nur eine sehr geringe Reichweite, also Aussagekraft haben, da die Stichprobe sehr klein ist.
Um Links einfacher kopieren zu können, hier auch noch die Folien zum Vortrag.
Biere, Mauermeister, Steinhardt 2024 Public Talk TRR 318
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Isabel Steinhardt (25. Juni 2024). Entwicklung eines Befragungsinstruments zu Digitaler Spaltung im Studium durch KI. Sozialwissenschaftliche Methodenberatung. Abgerufen am 8. Oktober 2024 von https://doi.org/10.58079/11vzv