Es gibt Artikel, an denen arbeitet man lange und freut sich um so mehr, wenn sie endlich veröffentlicht sind. So geschehen bei dem gerade open Access veröffentlichten Artikel „Kleine Strukturmacht statt großer Ideologie. Akkreditierung und Diversity“. Es handelt sich dabei um eine Auswertung mit der Methode Topic Modeling (vgl. Kapitel 11 Methodenbuch), die wir bereits im Jahr 2017 durchgeführt haben, die in unseren Augen aber nichts an Aktualität verloren hat. Methodisch interessant ist dabei, dass wir das Vorgehen heute als induktiv-quantitative Inhaltsanalyse bezeichnen würden. Was wir darunter verstehen, möchten wir im Folgenden ausführen.
In unserer Forschung beschäftigen wir uns schon lange mit der Frage was induktive und deduktive Inhaltsanalyse ist und wie diese Einteilung auch bei unstrukturierten Daten angewandt werden kann. Als induktiv-quantitative Inhaltsanalyse definieren wir in unserem Buch Verfahren, die durch automatisierte Prozesse, also statistische Berechnungen und Algorithmen, latent vorliegende Strukturen erkennen, die einen Textkorpus charakterisieren (Schneijderberg et al. 2022). Beim Topic Modeling werden die erkannten Muster in Form von Wortkombinationen (Topics) ausgegeben, die dann von Forschenden anhand von Theorien und existierender Empirie gedeutet und interpretiert werden müssen.
In unserem Artikel haben wir mit einer Topic Modeling Analyse untersucht, wie über politische Steuerungsprozesse Diversity in das Akkreditierungssystem und damit in die Studiengänge an Hochschulen verankert wurde. Die Diversity-Kategorien haben wir der Charta der Vielfalt entnommen und sind von den sieben Kern-Dimensionen Alter, ethnische Herkunft und Nationalität, Geschlecht und geschlechtliche Identität, körperliche und geistige Fähigkeiten (z.B. Behinderung), Religion und Weltanschauung, sexuelle Orientierung und soziale Herkunft ausgegangen. Dann haben wir anhand von akkreditierungsrelevanten Dokumenten (Hochschulrahmengesetz, Ländergemeinsame Strukturvorgaben und Akkreditierungskriterien) analysiert, welche Diversity-Kategorien in diesen Dokumenten vorhanden sind und damit auch in den Akkreditierungsunterlagen der Hochschulen vorkommen müssten.
Und nun wird es methodisch spannend! Denn wir hatten nicht nur einzelne Akkreditierungsunterlagen von Hochschulen, die wir untersuchen konnten, sondern eine sehr große Datenmenge. Uns lagen 828 Selbstdokumentationen, 743 Gutachtenberichte und 560 Beschlussbriefe vor – also insgesamt sehr viele Seiten Text. Diese Menge an Text kann nicht von Hand ausgewertet werden, weshalb wir auf die Methode des Topic Modeling zurückgegriffen haben. „Darunter werden Verfahren gefasst, mit deren Hilfe Sie potenziell vorliegende Themen innerhalb eines großen Textkorpus finden können, ohne alle Texte im Korpus gesichtet oder bearbeitet zu haben.“ (Schneijderberg et al. 2022, S. 358). Genau darum ging es uns, wir wollten herausfinden ob das Thema Diversity in den Akkreditierungsunterlagen vorkommt, welche der Dimensionen und wie die Themen sich im Zeitverlauf verändern bzw. hinzukommen. Denn wir wollten der These nachgehen, dass Hochschulen von politischer Seite sanft konditioniert werden und die Diversity-Kategorien in Hochschulen erst dann aufgegriffen werden, wenn sie politisch/gesellschaftlich gefordert sind. Mit Bezug auf Luhmann (1983) verstehen wir unter sanfter Konditionierung die politische Steuerung durch Platzierung gesellschaftlich aktuell diskutierter Themen in Gesetzen und Rechtsverordnungen, wie zum Beispiel Akkreditierungskriterien.
Eine genaue Beschreibung, wie Topic Modeling durchgeführt wird, findet sich in unserem Methodenbuch in Kapitel 11. Kurz zusammengefasst handelt es sich um eine Methode, die unter Verwendung eines statistischen (probabilistischen) Modells Themen (Topics) identifiziert, indem zunächst der Text in Tokens (= Worteinheit oder Wortkette) zerlegt wird und dann jeder Token einem Thema mit einer bestimmten Wahrscheinlichkeit zugeordnet wird. Dabei muss von den Forschenden festgelegt werden, wie viele Topics erstellt werden sollen (also wann diese Sinn ergeben), was durch iterative Prozesse geschieht (also Trial and Error). Für die Auswahl, wann die Analyse als „gut“ angenommen werden kann werden das Perplexity- und das Coherence-Maß herangezogen (vgl. Schneijderberg et al. 2022, Kapitel 11.4.3). In unserem Fall zeigte sich, dass bei den Selbstdokumentationen eine Anzahl von 160 Topics, bei den Gutachtenberichten 80 Topics und bei den Beschlussbriefen 40 Topics die besten Ergebnisse erbrachten. Die unterschiedlichen Anzahlen ergeben sich durch unterschiedliche Umfänge und Inhalte, so sind die Selbstdokumentationen heterogener und länger als die Gutachtenberichte. Die Beschlussbriefe sind am kürzesten und im Inhalt sehr strukturiert und homogen aufgebaut, weshalb hier die wenigsten Topics entstehen. Zudem haben wir uns auf Nomen beschränkt, da diese Themen anzeigen; die Bewertungen (Adjektive) oder das Tun (Verben) hatte für unsere Analyse keine Bedeutung.
Topic Modeling kann aus großen Textmengen manifeste Sinnstrukturen aufgrund von Wahrscheinlichkeitsberechnungen finden. Das bedeutet, dass systematisch gemeinsam auftretende Wörter über Texte hinweg zugrundeliegenden Themen zugeordnet werden. Dabei ist aber wichtig zu bedenken, dass die Topics gedeutet und interpretiert werden müssen. Das wird am folgenden Beispiel deutlich, das wir als Beratungsangebote_Behinderung codiert haben und damit der Diversity-Kategorie Behinderung zugeordnet haben. Unter dem Graphen des Zeitverlaufs finden sich die Wörter, die dem Topic zugeordnet wurden. Zudem gibt einen Topic Score (y-Achse) der anzeigt wie hoch die Bedeutung des Topics für den Textkorpus ist. In unserem Beispiel haben wir die induktiv-quantitativ gebildeten Topics theoriebasiert interpretiert und uns auf Diversity-Topics konzentriert.
Durch das Topic Modeling konnten wir in dem Artikel zeigen, dass Diversity-Dimensionen in den Selbstdokumentationen, Gutachtenberichten und Beschlussbriefen verstärkt auftauchen, nachdem sie durch gesetzliche Vorgaben und Aushandlungsprozesse unter den Stakeholdern im Akkreditierungsrat, in die Akkreditierungskriterien eingeflossen sind. Stellenweise zeigt sich eine direkte Kopplung zwischen Einführung der Akkreditierungskriterien und Anstieg der Topic Scores in den Dokumenten.
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Christian Schneijderberg & Isabel Steinhardt (27. August 2024). Induktiv-quantitative Inhaltsanalyse mit Topic Modeling. Sozialwissenschaftliche Methodenberatung. Abgerufen am 8. Oktober 2024 von https://doi.org/10.58079/1278i