Die (evaluative) Delphi-Befragung

Wie können Aussagen von ExpertInnen mit den Meinungen von Betroffenen verglichen werden? Eine Antwort auf diese Frage liefert Jennifer Jacob in Ihrer Dissertation. Sie hat die evaluative Delphi-Befragung entwickelt, um die Aussagen von Gremienmitgliedern von Forschungsförderern in Deutschland und England mit den Aussagen von Professorinnen und Professoren zu vergleichen, die keine Gremienmitglieder sind. Im folgenden Blogbeitrag beschreibt Jennifer Jacob was die evaluative Delphi-Befragung ist und zeigt an einem Beispiel die Durchführung.

Jennifer Jacob absolvierte den Studiengang B.A. Moderne Fremdsprachen, Kulturen und Wirtschaft an der Justus-Liebig-Universität Gießen mit dem Hauptfach Englische Linguistik. Daran anschließend befasste Sie sich im Master in British Studies an der Humboldt-Universität zu Berlin mit Britischer Literatur und Kultur, Politik, Wirtschaft und Englischem Recht. Nach Auslandsaufenthalten in Großbritannien und Belgien begann Sie 2014 ihre Dissertation an der HU Berlin. Derzeit arbeitet sie als Redakteurin – und parallel dazu an ihrer Promotion.

In meiner Dissertation mit dem Arbeitstitel „Between independence and interference: a comparative study of funding agencies as intermediaries between politics and science in the UK and Germany“ stand ich vor der Herausforderung, die Erkenntnisse aus den vom mir durchgeführten Expert*inneninterviews zu validieren. Befragt hatte ich 2016 und 2017 ehemalige und zu diesem Zeitpunkt aktuelle Gremienmitglieder der Deutschen Forschungsgemeinschaft (DFG), des Arts and Humanities Research Council (AHRC) und des Economic and Social Research Council (ESRC). Kernthemen der Interviews waren die Erfahrungen und Einschätzungen u.a. zu Politik in der Forschungsförderung, Finanzierung, Kriterien bei der Vergabe von Fördermitteln und besondere Ereignisse oder Veränderungen. Die Interviews habe ich mittels Grounded Theory ausgewertet und wollte in einem nächsten Schritt die Perspektive von Wissenschaftlerinnen und Wissenschaftlern zu den Ergebnissen und Themen der Interviews miteinbeziehen. Dafür habe ich eine evaluative Delphi-Befragung entwickelt. Im Folgenden möchte ich die bisherigen Verfahren der Delphi-Befragung kurz erläutern und anschließend die evaluative Delphi-Befragung ausführlicher vorstellen.

Die Delphi-Befragung

Ziel der Delphi-Befragung ist es, mittels eines standardisierten Fragebogens Expert*innenmeinungen zu erheben. Das Besondere daran ist, dass es in einer Delphi-Befragung mehrere Runden gibt, in denen die Teilnehmenden gebeten werden, die Umfrageergebnisse aus der/den vorigen Runde/n zu kommentieren. Eine einmalige Wiederholung kann durchaus schon zu brauchbaren Ergebnissen führen (Häder 2014, S. 125f.) und war auch in meinem Fall, auch aus Gründen der Praktikabilität, so vorgesehen. Ein weiterer wesentlicher Aspekt ist die bewusste Auswahl der Expert*innen im Vorfeld der Delphi-Befragung. Aus diesem Grund können die Ergebnisse nicht verallgemeinert werden, denn sie spiegeln nur die Meinungen der Expertengruppe wider (Häder 2014, S. 110).

Delphi-Befragungen können sowohl qualitativ als auch quantitativ ausgewertet werden. Wie die Umfrage designt und aufgebaut wird, aber auch wie sie ausgewertet wird, hängt von ihrem Einsatzzweck ab (Ammon 2009, S. 463). Häder und Häder (2014, S.589f.) stellen vier Typen einer Delphi-Befragung heraus:

  • Typ 1: Ideenaggregation. Dies ist ein ausschließlich qualitativer Ansatz. Beispiel: Es sollen möglichst viele Ideen zu einem bestimmten Thema gesammelt werden, um Problemlösungsvorschläge zu erarbeiten.
  • Typ 2: Bestimmung eines Sachverhalts. Dient dazu, Klarheit über einen bestimmten, aber unsicheren Sachverhalt zu erlangen, z.B. um ein Ereignis oder eine Entwicklung genauer vorhersagen zu können. Die Befragung kann qualitativ und quantitativ erfolgen.
  • Typ 3: Ermittlung von Expertenmeinungen. Meinungen einer konkreten Expertengruppe „über einen diffusen Sachverhalt“ sollen ermittelt und qualifiziert werden, um daraus gezielte Schlussfolgerungen erarbeiten zu können. Expertenmeinungen werden quantitativ und qualitativ bewertet.
  • Typ 4: Konsensfindung. Dieser Typ soll zu einem hohen Maß an Konsens unter den Teilnehmern führen, z.B. um Handlungsempfehlungen ableiten zu können. Typ 4 ist ein vornehmlich quantitativer Ansatz.

In allen Typen ist Anonymität ein wichtiges Merkmal (Häder 2014, S. 152f.), d.h. dass Teilnehmende durch ihre Antworten nicht identifizierbar sein sollten. Es ist jedoch möglich, auf die Zusammenstellung der Expertengruppe hinzuweisen, wenn dadurch nicht auf einzelne Personen geschlossen werden kann. Zusätzlich sollte man bedenken, dass es besonders der Inhalt der Umfrage selbst ist, der die Expert*innen von einer Teilnahme überzeugen sollte. So weisen Hasson et al. (2000, S.1010) darauf hin, dass „“the commitment of participants to complete the Delphi process is often related to their interest and involvement with the question being examined” und “if individuals are to be affected directly by the decision to be made, they are more likely to become involved in the Delphi process”. Auch in meiner Umfrage galt es daher, Expert*innen davon zu überzeugen, dass die Umfrage Themen behandelt, die auch für sie selbst relevant sind und dass sie durch ihre Teilnahme einen Einblick in aktuelle Forschung dazu erhalten.

Typ 5: Evaluative Delphi-Befragung

Keiner der vier bestehenden Typen beschreibt die Möglichkeit, mittels einer Delphi-Befragung Meinungen über Ergebnisse einer bereits durchgeführten Erhebung (in diesem Fall Expert*inneninterviews) einzuholen. Denn im Gegensatz zu Typ 1-4 arbeitete ich mit bereits vorliegenden erhobenen Daten, die die Teilnehmenden evaluieren und kommentieren sollen. Dadurch erhoffte ich mir, Unterschiede und Gemeinsamkeiten zwischen Umfrageteilnehmenden und Interviewten, aber auch zwischen zwei Ländern herausarbeiten zu können. Deshalb habe ich als fünften Typ die evaluative Delphi-Befragung entwickelt, dessen Eigenschaften wie folgt zusammengefasst werden können:

  • Typ 5: Dient zur Evaluierung von bereits erhobenen Daten (z.B. bereits durchgeführten Erhebungen wie Interviews) durch die Teilnehmenden der Befragung. Die Teilnehmenden sollten bewusst so ausgewählt werden, dass sie mit der Thematik, die sie kommentieren sollen, vertraut sind. Die Auswertung erfolgt qualitativ.

Umsetzung meiner evaluativen Delphi-Befragung

Um die evaluative Delphi-Befragung etwas anschaulicher zu machen, gebe ich im Folgenden einen Einblick in meinen Forschungsprozess.

In meiner Dissertation befasse ich mich intensiv mit der Forschungsförderung durch die DFG und den Research Councils in Großbritannien. Dabei interessiert mich besonders deren Verhältnis zu Politik und wissenschaftlicher Community, wobei mein Schwerpunkt auf den Geistes- und Sozialwissenschaften liegt. Wie oben beschrieben habe ich insgesamt 14 Expert*inneninterviews mit ehemaligen und aktuellen Gremienmitgliedern von DFG, AHRC und ESRC geführt. In den Interviews wurde dabei z.B. als eines der Ergebnisse deutlich, dass die Gremienmitglieder auf der einen Seite ein umfassendes Wissen der Strukturen und Vorgänge innerhalb der Organisationen, auf der anderen Seite dadurch jedoch auch ein engeres Verhältnis zu dem Forschungsförderer haben, dessen Mitglied sie sind. Dies spiegelte sich auch in ihren Aussagen wider und machte es umso wichtiger, diese Erkenntnis um die Perspektive anderer Wissenschaftler*innen zu erweitern.

Für die evaluative Delphi-Befragung wurden deshalb Wissenschaftler*innen ausgewählt, die keine (aktiven) Gremienmitglieder sind. Insgesamt wurden 192 Professor*innen und Dozent*innen aus sechs verschiedenen Fächern der Geistes- und Sozialwissenschaften an 16 verschiedenen Hochschulen – jeweils zur Hälfte in Großbritannien und in Deutschland- per E-Mail zur Delphi-Befragung eingeladen. Das bedeutet, dass es sich bei meiner Befragung auch um einen Ländervergleich handelt. Dies ist möglich, wenn „vergleichbare Indikatoren“ und „ein äquivalentes Design“ verwendet werden (Häder 2014, S. 195). Meine Delphi-Befragung besteht aus einer Version für Wissenschaftler*innen in Großbritannien (in englischer Sprache) und einer für Wissenschaftler*innen in Deutschland (in deutscher Sprache). Aufbau und Themen der Befragung sind zwar identisch, inhaltlich reflektieren die beiden Versionen jedoch die unterschiedlichen Forschungssysteme, aktuelle Entwicklungen und Besonderheiten der beiden Länder.

In einem mehrwöchigen Pretest wurde die Befragung schließlich finalisiert und im November 2018 wurden die Einladungen an alle vorausgewählten Expert*innen versandt. In der knapp vierwöchigen ersten Runde lag die Beteiligung bei ca. 16,6 Prozent, wobei sich Wissenschaftler*innen in Deutschland deutlich stärker beteiligten als ihre Kolleg*innen in Großbritannien. Innerhalb der Umfrage gab es keine Pflichtfragen, sodass die Teilnehmenden beliebig vor- und zurücknavigieren konnten. Es gab drei thematische Abschnitte mit insgesamt neun Fragen, für die jeweils ein Textfeld für Antworten zur Verfügung stand. Teil drei bestand aus Multiple Choice-Fragen. Folgendes Beispiel soll den Fragentypus veranschaulichen:

Die zweite Frage widmete sich der Verbundenheit der Gremienmitglieder und anderer Wissenschaftler*innen mit der DFG.

Trotz der niedrigen Beteiligung hat sich gezeigt, dass die teilnehmenden Expert*innen sich für die Thematik sehr interessierten und sich die Ergebnisse gut für eine zweite Runde aufbereiten lassen. Diese wird im Februar 2019 mit den Expert*innen aus der ersten Runde stattfinden.

Ich freue mich auf Kommentare oder Fragen zu meinem Beitrag, gerne per E-Mail an jennifer.jacob@hu-berlin.de 

Zitierte Literatur:
Ammon, Ursula (2009). Delphi-Befragung. In Kühl, Stefan, Petra Strodtholz und Andreas Taffertshofer (Hg.), Handbuch Methoden der Organisationsforschung. Wiesbaden: VS Verlag für Sozialwissenschaften, 458-476.
Häder, Michael. (2014). Delphi-Befragungen: Ein Arbeitsbuch. Wiesbaden: Springer VS.
Häder, Michael und Sabine Häder (2014). DELPHI-Befragung. In Baur, Nina und Jörg Blasius (Hg.), Handbuch Methoden der empirischen Sozialforschung. Wiesbaden: Springer VS, 587-592.
Hasson, Felicity, Sinead Keeney und Hugh McKenna (2000). Research guidelines for the Delphi survey technique. Journal of Advanced Nursing, 32(4), 1008–1015.

Weitere Literatur:
Ditzel, Benjamin (2017): Bedingte Wirksamkeit von QM in Studium und Lehre: Ergebnisse einer Delphi-Studie. Zeitschrift für Hochschulentwicklung, 12(3), 17-37.
Niederberger, Marlen und Ortwin Renn (2018): Das Gruppendelphi-Verfahren. Vom Konzept bis zur Anwendung. Wiesbaden: Springer VS.
Paetz, Nadja-Verena, Firat Ceylan, Janina Fiehn, Silke Schworm und Christian Harteis (2011): Kompetenz in der Hochschuldidaktik. Ergebnisse einer Delphi-Studie über die Zukunft der Hochschullehre. Wiesbaden: VS Verlag für Sozialwissenschaften.


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.