[Durchführung von Delphi-Befragungen in der medizinischen Ausbildungsforschung]

 Angelika Homberg <sup>1

1</sup> Medizinische Fakultät Mannheim, Universität Heidelberg, Geschäftsbereich Studium und Lehrentwicklung, Abteilung Medizinische Ausbildungsforschung, Mannheim, Deutschland

Zusammenfassung

Hintergrund: Delphi-Befragungen gewinnen in der medizinischen Ausbildungsforschung an Bedeutung, insbesondere für die Entwicklung von Curricula, Assessmentinstrumenten oder Handlungsempfehlungen. Aufgrund der Flexibilität und geringen Standardisierung der Methode stehen Forschende vor der Herausforderung, zahlreiche methodische Entscheidungen vor und im Verlauf einer Delphi-Befragung zu treffen. Um ein strukturiertes und zielgerichtetes Vorgehen sicherzustellen, ist eine sorgfältige Planung vor Beginn einer Delphi-Studie unerlässlich.

Planung von Delphi-Studien: Die Planung von Delphi-Befragungen wird in diesem Beitrag in folgenden fünf Schritten beschrieben: 1. Eignung und Durchführbarkeit der Methode, 2. Forschungsfrage und beteiligte Personen, 3. Planung des Befragungsprozesses bis zur ersten Runde, 4. Auswertstrategien und Planung der Folgerunden, 5. Darstellung und Verbreitung der Ergebnisse. Jeder Schritt wird anhand zentraler Fragen strukturiert. Die jeweils wichtigsten Punkte werden in einer Checkliste zusammengefasst.

Schlussfolgerung: Dieser Leitfaden bietet Forschenden einen umfassenden Überblick über die methodischen Möglichkeiten und Grenzen von Delphi-Befragungen und weist auf mögliche Fallstricke hin. Er unterstützt bei der vorausschauenden Planung und hilft, fundierte Entscheidungen zu treffen. Langfristig kann dadurch die Qualität von Delphi-Studien in der medizinischen Ausbildungsforschung gesteigert und das Potenzial der Methode besser ausgeschöpft werden.

---

---

1. Einleitung

Die medizinische Ausbildungsforschung umfasst ein weites Feld, welches auch die Entwicklung von konsensbasierten normativen Vorgaben und Empfehlungen einschließt [1]. In diesem Zusammenhang gewinnen Delphi-Befragungen zunehmend an Bedeutung, da sie den strukturierten Austausch zwischen unterschiedlichen Expert*innen ermöglichen und schließlich zu belastbaren und differenzierten Ergebnissen führen [2], [3]. Sie sind durch folgende Merkmale gekennzeichnet: Es erfolgt eine anonyme Befragung von Expert*innen durch standardisierte Fragebögen, oft mit offenen Fragen zur Erfassung von Argumenten, in mindestens zwei Runden. Die statistische Analyse beruht in der Regel auf deskriptiven Berechnungen. Ab der zweiten Runde erhalten die Expert*innen ein Feedback zu den Ergebnissen der Vorrunde und können so ihre Einschätzungen überdenken und gegebenenfalls revidieren. Auch der Fragebogen kann auf Basis der Rückmeldungen der Befragten angepasst werden [4], [5], [6].

Delphi-Befragungen können sowohl für qualitative als auch für quantitative Analysen genutzt, auf unterschiedliche Kontexte angepasst und somit vielseitig eingesetzt werden. Sie eignen sich insbesondere für die Bearbeitung komplexer Sachverhalte bei denen das Wissen unsicher oder interpretationsbedürftig ist [6]. Im Verlauf können unterschiedliche Perspektiven aufgegriffen und ein Konsens zu einer bestimmten Aufgabenstellung erarbeitet werden [7], [8].

Die Aufgabenstellungen in der medizinischen Ausbildungsforschung umfassen beispielsweise:

• die Überarbeitung oder Entwicklung von Curricula (z. B. [9], [10]),
• die Definition von Absolventenprofilen, Kompetenzen oder Lernzielen (z. B. [11], [12], [13]),
• die Überarbeitung oder Entwicklung von Items für Assessmenttools (z. B. [14], [15], [16]),
• die Entwicklung von outcome-basierten Indikatoren für die Beurteilung von Lernerfolgen (z. B. [17], [18]),
• das Sammeln und Gewichten von Ideen und Einflussfaktoren für die Weiterentwicklung innovativer Bereiche (z. B. [19], [20]),
• die Durchführung von Bedarfsanalysen (z. B. [21], [22]).

Delphi-Befragungen werden derzeit mit sehr heterogenen Konzepten und unterschiedlicher methodologischer Fundierung und Güte umgesetzt [23], [24]. Der Begriff Modifikation wird hierbei uneinheitlich verwendet [7], [25], [26]. Häufig werden zusätzlich face-to-face Meetings in den Befragungsprozess integriert, um durch den unmittelbaren Austausch die Chance einer Anwendung der Ergebnisse in der Praxis zu erhöhen [27], [28]. In diesem Falle wird die Anonymität der Teilnehmenden aufgehoben.

Delphi-Befragungen erfordern aufgrund ihrer Komplexität eine sorgfältige Planung des gesamten Forschungsprozesses. Die Flexibilität der Methodik und fehlende Standardisierung erhöhen die Anforderungen an die Forschenden. Häder stellt in dem 2014 publizierten Standardwerk Delphi-Befragungen einige wichtige Aspekte mit Fokus auf auf die Bereiche Sozialwissenschaften und Zukunftsforschung detailliert dar [29]. Die derzeit existierenden Empfehlungen für die Durchführung von Delphi-Befragungen in den Gesundheitswissenschaften (z. B. [23], [25], [30], [31]) und in der medizinischen Ausbildungsforschung (z. B. [32], [33], [34]) wurden vor 2020 veröffentlicht. In den letzten Jahren hat sich die Methodik aufgrund technischer und erkenntnistheoretischer Entwicklungen weiter ausdifferenziert. Hierzu trug nicht zuletzt auch das DFG-geförderte Netzwerk DeWiss (Delphi-Verfahren in den Gesundheits- und Sozialwissenschaften) bei, das von 2020 bis 2023 neben konkreten Anwendungen auch grundlegende Fragen der Delphi-Methode thematisierte sowie eine internationale Delphi-Studie durchführte, um eine umfassende Reporting Guideline für die Gesundheits- und Sozialwissenschaften zu entwickeln [35].

Das Ziel dieses Gewusst wie ist, Forschenden, die eine Delphi-Befragung im Bereich der medizinischen Ausbildungsforschung durchführen möchten, einen Überblick über die Möglichkeiten und Herausforderungen dieser Methode zu geben, damit potenzielle Fallstricke frühzeitig erkannt und valide, fundierte Ergebnisse erzielt werden können. Forschende werden in fünf Schritten anhand von Leitfragen durch den Prozess geführt. Am Ende werden alle wichtigen Punkte in einer Checkliste zusammengefasst (siehe Anhang 1 [Anh. 1]). Diese kann auch erfahrenen Forschenden zur zielgerichteten und strukturierten Planung dienen.

2. Planung von Delphi-Befragungen

2.1. Schritt 1: Eignung und Durchführbarkeit der Methode

2.1.1. Ist die Delphi-Befragung die geeignete Methode?

Zunächst muss geklärt sein, welches spezifische Problem zu untersuchen ist. Ob die Delphi-Methode geeignet ist, hängt in erster Linie von den Rahmenbedingungen ab, die das Problem umgeben und nicht von der eigentlichen Fragestellung [6]. Aspekte, die für die Anwendung der Delphi-Methode sprechen, sind in Anlehnung an Linstone und Turoff [36] in Tabelle 1 [Tab. 1] aufgeführt.

Treffen wenige oder keine dieser Aspekte zu, sollte überlegt werden, ob andere Konsensmethoden wie eine Konsensuskonferenz oder die Nominal Group Technik [37] in Frage kommen oder eine Gruppendiskussion, eine Expert*innenbefragung oder ein Workshop die bessere Alternative wären.

2.1.2. Welche Ressourcen stehen zur Verfügung?

Die Komplexität der Befragung wirkt sich erheblich auf den Umfang der aufzubringenden Ressourcen aus. Bei guter Planung können Delphi-Befragungen auch von relativ kleinen Forschergruppen selbstständig und innerhalb weniger Monate durchgeführt werden. Auch die Durchführung im Rahmen einer Doktorarbeit ist realistisch [38].

Häufig unterschätzt werden die benötigten zeitlichen Ressourcen. Für jede Befragungsrunde sollten Zeitslots für die Nacherfassung von Non-Respondern eingeplant und Ferienzeiten sowie Zeiten mit hoher Arbeitsauslastung (z. B. Prüfungszeiten) berücksichtigt werden. Realistisch sind etwa acht bis zehn Wochen pro Runde. Zwischen den Befragungsrunden müssen innerhalb kurzer Zeit die Fragebögen ausgewertet, das Feedback vorbereitet, sowie der Fragebogen für die Folgerunde entwickelt und einem Prätest unterzogen werden, um die Motivation der Teilnehmenden aufrechtzuerhalten und Abbruchquoten zu reduzieren.

Finanzielle Ressourcen können für Incentives, Workshops (z. B. Raummieten und Reisekosten), professionell erstellte Begleitmaterialien oder Lizenzen für Befragungstools und Programme für die Auswertung der Daten benötigt [39] werden. Für einfache Delphi-Befragungen können übliche Surveytools verwendet werden, welche die Anonymität der Teilnehmenden und die Datensicherheit gewährleisten (z. B. [40]). Spezialisierte Tools lohnen sich bei aufwändigeren Verfahren, da sie Prozesse wie Verwaltung, Auswertung und Rückmeldung der Daten automatisieren sowie Vorlagen bereitstellen und Multi-Channel-Umfragen ermöglichen. Mit einzelnen Tools können Echtzeitberechnungen der Gruppenergebnisse im Rahmen eines Real-Time-Delphis durchgeführt werden [41].

2.1.3. Wann kommen Delphi-Varianten zum Einsatz?

In den letzten Jahrzehnten haben sich diverse methodische Varianten etabliert [8], welche einzelne typische Merkmale einer Delphi-Befragung außer Kraft setzen. So gibt es bei Real-Time-Delphis keine trennbaren Delphi-Runden [41]; beim Gruppendelphi wird die Anonymität der Expert*innen aufgehoben [42] und beim Deliberativen Delphi werden von Fachleuten geschulte Bürger*innen anstelle von Expert*innen eingebunden [43]. Der Einsatz eines Real-Time Delphis oder Gruppendelphis kann dazu beitragen, die Zeitdauer erheblich zu verkürzen. Im Bereich der medizinischen Ausbildungsforschung kommt vor allem das Gruppendelphi in Frage, um beispielsweise die synchrone Diskussion der Teilnehmenden zur Konsensfindung eines komplexen Sachverhalts zu nutzen. Auch ein Deliberatives Delphi unter Einbindung von Patient*innen (z. B. [44]) oder Studierenden (z. B. [11], [45], [46]) ist für bestimmte Fragestellungen sinnvoll. Die Publikation von Niederberger und Deckert bietet einen guten Überblick über die Charakteristik der derzeit etablierten Varianten [8].

2.2. Schritt 2: Forschungsfrage und beteiligte Personen

2.2.1. Wer wird in die Planung und Steuerung des Prozesses eingebunden?

Um die mit einer Delphi-Befragung verbundenen Entscheidungen begründet und möglichst objektiv zu treffen, sollte eine Steuerungsgruppe zusammengestellt werden. In der Regel nehmen die Mitglieder der Steuerungsgruppe nicht selbst an der Delphi-Befragung teil. Eine Ausnahme bildet der partizipative Ansatz, bei welchem die Personen der Steuerungsgruppe gleichzeitig auch das Expert*innenpanel bilden können (z. B. [44]).

Generell kommen für die Steuerungsgruppe folgende Personen in Frage:

• Forschende, die die Delphi-Befragung durchführen.
• Forschende, die Erfahrung mit der Delphi-Methode haben.
• Forschende, die mit den Hintergründen des zu untersuchenden Problems vertraut sind.
• Entscheidungsträger, Stakeholder, etc., wie beispielsweise Studiendekane (strategischer Ansatz).
• Betroffene, wie beispielsweise Studierende oder Patient*innen (partizipativer Ansatz).

Durch den strategischen oder partizipativen Ansatz kann die Akzeptanz der Ergebnisse beziehungsweise deren Passung an konkrete Rahmenbedingungen erhöht werden.

Zur Bewältigung der vielfachen Aufgaben kann es sinnvoll sein, Hilfskräfte einzubinden [29]. Wichtig ist, die Verantwortungsbereiche und Aufgabenverteilung in der Steuerungsgruppe klar zu kommunizieren und die Planung sowie die im Verlauf getroffenen Entscheidungen konsequent zu protokollieren.

2.2.2. Wie wird die Forschungsfrage festgelegt?

Die erste Aufgabe der Steuerungsgruppe besteht darin, das Forschungsziel zu überprüfen und eine präzise Forschungsfrage zu formulieren. Dadurch wird sichergestellt, dass alle Mitglieder das gleiche Verständnis des Untersuchungsgegensandes und der Zielsetzung haben und Missverständnisse vermieden werden.

Hierbei sollte Folgendes überlegt werden:

• ob Fachbegriffe von allen Beteiligten gleichermaßen genutzt und verstanden werden,
• ob die Ergebnisse nur für eine bestimmte Region, national oder international anwendbar sein sollen,
• unter welchen Bedingungen die Ergebnisse genutzt werden sollen (z. B. für Schulen, Universitäten oder Weiterbildungseinrichtungen),
• welches methodische Ziel insgesamt erreicht werden soll (z. B. Konsensfindung, Ideenaggregation, Erhebung von Expert*innenmeinungen).

In der medizinischen Ausbildungsforschung sind Delphi-Befragungen zur Konsensfindung vorherrschend. Die Steuerungsgruppe sollte prüfen, ob andere Ziele, wie beispielsweise die Ideenaggregation oder die Erhebung der Expert*innenmeinungen im Vordergrund stehen. Über die jeweilige Ausdifferenzierung liefert Häder einen guten Überblick [29].

2.2.3. Welche Personengruppen werden befragt?

Die Befragten bei Delphi-Studien werden in der Regel Expert*innen genannt, welche als informierte Individuen oder Spezialist*innen über Wissen in einen bestimmten Bereich verfügen [25]. Sie bringen als reflektierte Praktiker*innen ihre lebensweltlichen Erfahrungen in den Delphi-Prozess ein [27]. Die Zusammenstellung des Expert*innenpanels ist wesentlich von der methodischen Zielsetzung der Delphi-Befragung abhängig [29].

Bei Konsensdelphi-Studien sollte die Vielfalt der Grundgesamtheit derer abgebildet werden, welche über einschlägige Expertise zum Forschungsthema verfügen. Alle hierfür relevanten Gruppen sollten so ausgewogen wie möglich in das Delphi integriert werden [47], [48] (siehe Tabelle 2 [Tab. 2]) und jeweils durch mindestens zwei, besser drei Personen vertreten sein. Dadurch können unterschiedliche Standpunkte innerhalb der jeweiligen Gruppe erfasst werden und ein Drop-out einzelner Personen hat weniger Einfluss auf das Gesamtergebnis. Eine Nachrekrutierung von Expert*innen ist grundsätzlich möglich. Sie sollte insbesondere dann in Erwägung gezogen werden, wenn die Gefahr besteht, dass der Drop-out zu einer Verzerrung der Ergebnisse führt (wenn überproportional Expert*innen aus einer Gruppe ausscheiden) oder dass sich die statistische Aussagekraft durch die Reduzierung der Stichprobengröße reduziert (bei kleinen Stichproben). Um die Vergleichbarkeit, Konsistenz und Integrität der Studie zu wahren, sollten die neuen Teilnehmenden eine vergleichbare Expertise aufweisen und mit den bisherigen Ergebnissen und dem Verlauf vertraut gemacht werden. Die Forschenden müssen die Nachrekrutierung offenlegen und begründen.

Eine große Schwierigkeit besteht darin, zu klären, was Expert*innen tatsächlich zu Expert*innen macht [49]. Diese Frage sollte in Bezug auf die Zielsetzung der Delphi-Befragung in der Steuerungsgruppe diskutiert werden, da von der Zusammensetzung des Expert*innenpanels maßgeblich die Reliabilität und Validität der Studie beeinflusst werden.

2.2.4. Wie wird die Stichprobe ermittelt?

Da bei Delphi-Befragungen in der Regel keine Totalerhebungen möglich sind, muss eine Stichprobe ermittelt werden. Für den Erfolg der Befragung sind hierzu vor allem zwei Faktoren relevant: die individuelle Expertise der Befragten in Bezug auf die Aufgabenstellung sowie ihr persönliches Interesse am Thema. Durch die gezielte Auswahl kann der Drop-out erheblich gesenkt werden [50]. Um systematisch vorzugehen, können folgende Kriterien herangezogen werden: Anzahl der veröffentlichten Artikel zu dem betreffenden Themenbereich oder Publikationskennzahl, Mitarbeit in Fachgremien, berufliche Position oder Aktivitäten, aktive Beteiligung in einschlägigen Netzwerken und Foren. Möglich ist auch, dass Fakultäten oder Hochschulen angefragt werden, Expert*innen zu einem bestimmten Themenbereich zu benennen. Studierende können beispielsweise über die Fachschaft rekrutiert werden, Patient*innen über Selbsthilfegruppen. Persönliche Kontakte und Zugehörigkeiten zu einschlägigen Netzwerken der Mitglieder der Steuerungsgruppe sind hilfreich, um motivierte Personen ausfindig zu machen.

2.2.5. Wie viele Expert*innen werden eingeschlossen?

Es gibt keine einheitlichen Empfehlungen zur Anzahl der einzuschließenden Expert*innen. Laut Turoff [51] ist eine Anzahl von zehn bis vierzig Personen günstig. Trevelyan et al. sprechen von acht bis fünfzehn Teilnehmenden bei homogenen Panels im gesundheitswissenschaftlichen Bereich [30]. Bei Delphi-Befragungen in der medizinischen Ausbildungsforschung zeigen sich Panels von acht (z. B. [38]) bis über hundert (z. B. [52]).

Der Zeitaufwand erhöht sich mit der Teilnehmerzahl, insbesondere wenn die Befragung einen großen Anteil qualitativer Fragen beinhaltet und Arbeitsschritte nicht automatisiert ablaufen.

Ein kleines Expert*innenpanel reicht unter folgenden Voraussetzungen aus:

• Es müssen nur wenige Themen, Thesen und Fragen bearbeitet werden.
• Es müssen nur wenige verschiedene Expertisen, Standpunkte und Perspektiven berücksichtigt werden.
• Es gibt eine kleine Grundgesamtheit, die abgebildet werden kann.
• Die Delphi-Befragung lässt sich in einem kurzen Zeitraum durchführen.
• Die Motivation der Teilnehmenden, und dadurch auch der erwartete Rücklauf, wird eher hoch eingeschätzt.
• Die erwartete Bereitschaft der Teilnehmenden, Argumente und Ideen einzubringen wird hoch eingeschätzt.
• Es besteht die Möglichkeit, ausfallende Expert*innen nach der ersten Runde nachzurekrutieren.

2.3. Schritt 3: Planung des Befragungsprozesses bis zur ersten Runde

2.3.1. Wie werden die Items für den ersten Fragebogen entwickelt?

Für den Bereich der Ausbildungsforschung beschreiben Garavalia et al. [53] in Anlehnung an Linstone [36] folgendes Vorgehen als klassisches Delphi in drei Runden:

• 1. Runde Sammeln von Items anhand einer offenen Fragestellung,
• 2. Runde Bewertung der gesammelten Items anhand von Ratingskalen und zusätzliches Einholen von Argumenten mittels offener Fragen,
• 3. Runde Erneute Bewertung der Items auf Grundlage der rückgespiegelten Kommentare und Argumente [53].

Dieses Vorgehen wird in der medizinischen Ausbildungsforschung nur vereinzelt gewählt (z. B. [11], [12]). Häufiger werden Items vorab formuliert. Die teilnehmenden Expert*innen werden gebeten, diese zu bewerten und weitere Items vorzuschlagen. Der Delphi-Prozess kann dadurch beschleunigt werden. Zudem erhalten die Expert*innen eine Vorstellung davon, was von ihnen erwartet wird und generieren eher vergleichbare neue Inhalte. Der Workload für die Befragten und die Wahrscheinlichkeit, vom Thema abzuweichen, werden reduziert.

Die Generierung der Items für die erste Befragungsrunde richtet sich nach den verfügbaren Ressourcen [29]. Bei bestimmten Fragestellungen können Aussagen aus von Fachgesellschaften oder -gremien erstellten Listen übernommen werden. Häufig existieren einschlägige Publikationen, so dass die Items literaturbasiert durch die Steuerungsgruppe zusammengestellt werden können. Wenn diese Voraussetzungen nicht erfüllt sind, können die Items auch direkt durch die Steuerungsgruppe entwickelt werden. In diesem Fall ist es ratsam, zusätzliche Expert*innen, etwa aus Fachausschüssen und Gremien, in einem vor der Delphi-Befragung stattfindenden Expert*innenmeeting oder durch eine Vorabbefragung einzubeziehen.

2.3.2. Wie wird die Anzahl der Runden festgelegt?

Die Anzahl der Runden sollte zu Beginn der Studie feststehen und unabhängig davon sein, ob für alle Items ein Konsens erreicht wurde. Wenn das Erreichen des Konsenses als Stopp-Kriterium festgelegt wird, bedeutet dies, dass die Befragung solange fortgeführt wird, bis alle Items eindeutig zugeordnet werden konnten. Der Aufwand ist somit weder für die Steuerungsgruppe noch für die Teilnehmenden kalkulierbar.

Für die Festlegung der Rundenzahl ist entscheidend, wie gut ein Thema bereits erforscht ist, wie heterogen das Expert*innenpanel ist, wie der Konsens definiert wird, welches Ergebnis erzielt werden soll und welche Ressourcen zur Verfügung stehen. Bei einer Delphi-Studie von Ellaway et al. [10] sollte beispielsweise ein Curriculum für das Medizinstudium zur Versorgung von Trans- und geschlechtsdiversen Patient*innen entwickelt werden. Die Komplexität erforderte vier Runden. Häufig lassen sich aber auch in zwei Runden schon gute Ergebnisse erzielen (z. B. [54], [55], [56]).

2.3.3. Wie wird Konsens gemessen?

Konsens bei Delphi-Befragungen bedeutet, dass eine hohe Übereinstimmung zwischen den befragten Expert*innen zu einer Aussage erreicht wird und nicht, dass alle Expert*innen dieselbe Meinung teilen. In den meisten Publikationen wird ein Konsens bei etwa 70-85% festgelegt [57]. Die Übereinstimmung wird in der Regel über deskriptive statistische Maße gemessen und ist abhängig vom Skalenniveau [58]. Bei einem nominalen Skalenniveau kann die relative Häufigkeit der Nennungen bestimmt werden. In der Regel wird der Grad der Zustimmung auf einer ordinalen Skala erfasst. Auch hier kann der Anteil der Befragten bestimmt werden, welcher einer Aussage ab einer bestimmten Merkmalsausprägung zustimmt oder diese ablehnt. Häufiger werden Median und Interquartilsabstand (IQR) herangezogen, da dadurch Mehrheiten abgebildet werden können [59]. Bei einer 5-stufigen Ratingskala kann beispielsweise ein IQR <1 als Konsens definiert werden [58]. Die Verwendung von Mittelwert und Standardabweichung ist bei ordinalen Skalen zu vermeiden. Konsens kann auch über Rankingfragen ermittelt werden. Hier muss aber berücksichtigt werden, dass sie trotz des höheren kognitiven Aufwands für die Befragten in der Regel keinen Mehrwert gegenüber Ratingfragen vorweisen können [60].

2.3.4. Wie ist der erste Fragebogen aufgebaut?

Der Fragebogen für die erste Delphi-Runde sollte eine Präambel enthalten, demographische Daten erheben und im zentralen Teil offene und geschlossene Fragen kombinieren. Die Skalenstufen und Optionen für die geschlossenen Fragen müssen begründet ausgewählt werden [28], [59], [61] (siehe Tabelle 3 [Tab. 3]).

Eine klare Struktur des ersten Fragebogens und eine überschaubare Menge erfasster Daten tragen wesentlich dazu bei, die Folgerunden und das Feedback nicht zu überladen und angemessen gestalten zu können [30]. Belton et al. empfehlen, dass die Bearbeitungszeit einer Delphi-Runde nicht mehr als 30 Minuten betragen und in der ersten Runde nur wenige offene Fragen integriert werden sollten [62].

2.3.5. Wie wird mit den Expert*innen kommuniziert?

Wichtig ist, die teilnehmenden Expert*innen als Partner*innen zu behandeln und alle wichtigen Schritte zu erklären. Dies beginnt damit, die Expertise explizit zu benennen, Befragte also nicht als Expert*innen zu bezeichnen, ohne den Begriff erläutert zu haben [30]. Die Anfrage zur Teilnahme sollte persönlich gestaltet werden. Wird begründet, warum gerade die individuelle Expertise wichtig ist, wächst die Bereitschaft. Um die Motivation aufrecht zu erhalten, sind soziale Belohnungen häufig sinnvoller als finanzielle [62], z. B. wenn die Teilnehmenden erkennen, dass sie durch ihre Antworten tatsächlich einen Einfluss auf das Ergebnis der Delphi-Befragung haben oder Hintergrundinformationen und Zwischenergebnisse exklusive bereitgestellt werden. Weiterhin ist die angemessene Sprache im Fragebogen und bei den Begleitmaterialien maßgeblich für den Erfolg. Insbesondere bei heterogenen Expert*innenpanels, wie bspw. bei internationalen Studien oder partizipativen Delphi-Befragungen, sollten im Pretest Vertreter*innen aus den einzelnen Untergruppen des Expert*innenpanels eingebunden werden, um die Verständlichkeit für alle Teilnehmenden zu gewährleisten [63].

2.4. Schritt 4: Auswertstrategien und Planung der Folgerunden

2.4.1. Welche Strategien werden für die Auswertung verwendet?

Die Auswertungsstrategien sind abhängig vom Datenmaterial. Quantitative Daten werden in der Regel deskriptiv statistisch ausgewertet. Für die Konsensmessung wird jedes Item einzeln betrachtet und auf Grundlage der festgelegten Konsenskriterien in die Gruppen: Konsens über Zustimmung, Dissens oder Konsens über Ablehnung eingeordnet.

Antworten auf offene Fragen werden in Abhängigkeit ihrer Funktion ausgewertet [64] (siehe Tabelle 3 [Tab. 3]). Fragen zur Exploration können anhand der quantitativen Inhaltsanalyse [65] oder Thematischen Analyse [66] kategorisiert und zusammengefasst werden. Fragen zur Extension können anhand der quantitativen Inhaltsanalyse ausgewertet werden [67]. Eine besondere Rolle spielt die Auswertung von qualitativ erfassten Argumenten, bei denen die Befragten ihre quantitative Bewertung begründen. Hierfür wurde explizit die fünf-stufige Argumentenbasierte Qualitative Analyse AQUA entwickelt, welche die Möglichkeit bietet, die qualitativen Daten strukturiert auszuwerten und gemeinsam mit den quantitativen Daten für das Feedback aufzubereiten [68].

2.4.2. Wie wird das Feedback übermittelt?

Die Teilnehmenden sollten nach jeder Delphi-Runde einen objektiven Feedbackbericht über die aggregierten Gruppenergebnisse erhalten. Hierbei sollte anonym dargestellt werden, wie sich die Gruppe der Teilnehmenden zusammensetzte. Quantitative Daten können anhand der Lage- und Streumaße grafisch visualisiert werden, z. B. als Balken- oder Säulendiagramm. Individualisierte Feedbacks, bei welchen die jeweils eigene Bewertung im Vergleich zu den Gruppenwerten rückgespielt werden, sind in der Regel aufwändig und werden im Hinblick auf den Nutzen kritisch diskutiert, da hierdurch ein Konformitätsdruck und höhere kognitive Belastung entstehen [69].

Die qualitativen Ergebnisse sollten inhaltlich gut strukturiert und nahe am ursprünglichen Wortlaut zurückgespielt werden, so dass die Expert*innen ihre eigenen Beiträge erkennen können. Ziel ist es, dass die Teilnehmenden auf Basis der Gruppenantworten ihre Meinung überdenken und möglicherweise anpassen können. Abbildung 1 [Abb. 1] zeigt ein Beispiel, wie die quantitativen Daten mit dem individuellen Feedback und den Argumenten gebündelt dargestellt werden können.

Der Feedbackbericht kann mit der Einladung zur Folgerunde an die Befragten als separates Dokument verschickt oder in den Folgefragebogen integriert werden.

2.4.3. Wie wird mit dem ermittelten Konsens umgegangen?

Items, bei denen ein Konsens über eine Zustimmung oder Ablehnung ermittelt wurde, werden im Zwischen- und Abschlussbericht dargestellt, aber nicht erneut in der Folgerunde zur Bewertung vorgelegt. Zwar könnten bei einer erneuten Abstimmung die Reproduzierbarkeit und damit die Stabilität der Bewertungen ermittelt werden, dieser Vorteil wiegt aber in der Regel nicht die zusätzliche Belastung für die Befragten auf.

Items, über die kein Konsens für eine Zustimmung oder Ablehnung erreicht wurde, werden analysiert [70] und entsprechend der Analyseergebnisse terminiert, modifiziert oder unverändert in Kombination mit den Argumenten erneut zur Bewertung vorgelegt [36] (siehe Abbildung 2 [Abb. 2]).

2.4.4. Wie werden die Fragebogen der Folgerunden aufgebaut?

Fragebögen der Folgerunden greifen die Struktur des ersten Fragebogens auf und enthalten in der Regel neben den identischen und modifizierten Items aus der Vorrunde auch Items, welche aus den Antworten auf explorative Fragen neu generiert wurden. Weiterhin sollte die Möglichkeit gegeben werden, dass Expert*innen ihre Urteile begründen können. Offene Fragen zur Exploration sollten im Verlauf der Delphi-Befragung nicht mehr oder nur in einem begrenzten Umfang angeboten werden.

2.5. Schritt 5: Darstellung und Verbreitung der Ergebnisse

2.5.1. Was ist mit Items, die im Dissens bleiben?

Selbst nach vielen Runden kann es sein, dass zu einzelnen Items kein Konsens gefunden wurde. Das Nichterreichen von Konsens muss aufgegriffen und analysiert werden.

Es könnte beispielsweise sein, dass die Expert*innen

• generell eine unterschiedliche Priorisierung von Werten bzw. Zielen haben,
• Teilaspekte unterschiedlich gewichten oder berücksichtigen oder
• Interessenkonflikte haben und deshalb nicht von ihren Positionen abweichen.

Ursachen könnten auch in der methodischen Umsetzung liegen, z. B.

• dass das Themenfeld im Vorfeld nicht entsprechend eingegrenzt wurde,
• Argumente im Feedback nicht ausreichend kommuniziert oder berücksichtigt wurden,
• die Anzahl der Runden nicht ausreichend war oder
• die Items auch im Verlauf nicht präzise formuliert wurden.

Im Dissens gebliebene Aussagen können innerhalb der Steuerungsgruppe, in einem Abschlussmeeting mit den teilnehmenden Expert*innen oder unter Hinzuziehung weiterer Expert*innen oder Betroffenen weiter diskutiert werden. Unabhängig davon sollten dissente Urteile immer im Ergebnisbericht dargestellt werden.

2.5.2. Wie werden die Ergebnisse publiziert?

Um die Qualität und Transparenz von Berichterstattungen zu erhöhen, sollte eine entsprechende Reporting-Guideline verwendet werden. DelphiSTAR (Delphi studies in social and health sciences - Recommendations for an interdisciplinary standardized reporting) wurde speziell für Publikationen in den Gesundheits- und Sozialwissenschaften entwickelt [35]. Möglich ist auch die Orientierung an ACCORD (ACcurate COnsensus Reporting Document), welche für die Biomedizin entwickelt wurde [35], oder CREDES (Guidance on Conducting and REporting DElphi Studies) für den Palliativbereich [31].

Die teilnehmenden Expert*innen bringen ihre Erfahrungen und erhebliche zeitliche Ressourcen in den Delphi-Prozess ein. Dies sollte in der Danksagung gewürdigt werden, wenn die entsprechende Einwilligung vorliegt, auch namentlich. Im entsprechenden Anhang kann die Qualifikation der Expert*innen dargestellt werden, um die in den Delphi-Prozess eingebrachte Expertise zu belegen oder Interessenkonflikte offenzulegen.

2.5.3. Wie werden die Ergebnisse verbreitet und implementiert?

Die Forschenden sollten sich schon vor Beginn der Studie damit beschäftigen, ob Maßnahmen zur Verbreitung und Implementierung der Ergebnisse notwendig sind. In vielen Fällen müssen die Ergebnisse noch weiter aufbereitet werden, um sie in die Praxis zu überführen. Beispielsweise können Zusammenfassungen formuliert und an die Zielgruppen verbreitet werden. Auch hierzu kann ein Abschlussworkshop hilfreich sein (z. B. [71], [72]). Je nach Outcome kann es auch sinnvoll sein, die Umsetzbarkeit der Ergebnisse in der Praxis zu evaluieren und weitere Möglichkeiten der Anwendung und Implementierung zu überprüfen.

4. Diskussion

Dieser Beitrag liefert eine komprimierte Anleitung zur Durchführung von Delphi-Befragung in der medizinischen Ausbildungsforschung. Wesentliche Arbeitsschritte werden benannt, übliche Vorgehensweisen und Alternativen beschrieben und punktuell auf Fallstricke hingewiesen. Es wird vorausgesetzt, dass Forschende mit den Grundlagen der empirischen Sozialforschung vertraut sind, beispielsweise mit Fragebogenkonstruktion, Operationalisierung theoretischer Begriffe oder Datenanalyse und Interpretation. Wenn Forschende Delphi-Varianten anwenden möchten, ist die Auseinandersetzung mit vertiefender Literatur unumgänglich.

Es ist zu bedenken, dass methodische Entscheidungen häufig weitreichende Konsequenzen haben. Beispielsweise wirkt sich die Zusammenstellung des Expert*innenpanels [29], die Wahl der Bewertungsskala und die Festlegung des Konsenses [59] erheblich auf die Ergebnisse aus. Die statistische Darstellung der Ergebnisse kann dazu verleiten, sie als objektive Messung fehlzuinterpretieren und die Aussagekraft zu überschätzen. In der medizinischen Ausbildungsforschung sind sie eher als Ergebnis eines situativen Aushandlungsprozesses zu verstehen, als Verständigung darüber, wie etwas sein sollte oder vollzogen werden könnte. Eine große Herausforderung besteht darin, dass viele Punkte in Bezug auf Delphi-Befragungen noch nicht abschließend geklärt sind, beispielsweise fehlt es an Sekundäranalysen, experimentellen Studien oder Methodentests, um fundierte Aussagen über den Einfluss methodischer und statistischer Vorgehensweisen auf das Urteilsverhalten und damit auf die Konsensfindung machen zu können [3], [58]. Dennoch sind sie das Mittel der Wahl, um Fachwissen und die lebensweltliche Erfahrung von Expert*innen aus Wissenschaft und Praxis systematisch zusammenzuführen und dadurch mehr Planungs- und Handlungssicherheit zu erlangen. Dieses Gewusst wie kann dazu beitragen, die Qualität von Delphi-Studien in der medizinischen Ausbildungsforschung zu fördern. Die hier genannten Schritte und Empfehlungen können weitgehend auf andere Delphi-Studien im gesundheits- und bildungswissenschaftlichen Bereich übertragen werden.

ORCID der Autorin

Angelika Homberg: [0000-0001-5585-1126]

Interessenkonflikt

Die Autorin erklärt, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel hat.

---

Literatur

[1] Schüttpelz-Brauns K, Schneider A, Fabry G, Matthes J, Himmelbauer M, Buss B, Giesler M. What is medical education research? An analysis and definition of subjects, objectives and types of research based on articles that have undergone a peer review process. GMS J Med Educ. 2026;43(1):Doc12. DOI: 10.3205/zma001804
[2] Foth T, Efstathiou N, Vanderspank-Wright B, Ufholz LA, Dutthorn N, Zimansky M, Humphrey-Murto S. The use of Delphi and Nominal Group Technique in nursing education: A review. Int J Nurs Stud. 2016;60:112-120. DOI: 10.1016/j.ijnurstu.2016.04.015
[3] Humphrey-Murto S, Varpio L, Wood TJ, Gonsalves C, Ufholz LA, Mascioli K, Wang C, Foth T. The Use of the Delphi and Other Consensus Group Methods in Medical Education Research: A Review. Acad Med. 2017;92(10):1491-1498. DOI: 10.1097/acm.0000000000001812
[4] Webler T, Levine D, Rakel H, Renn O. A novel approach to reducing uncertainty: The group Delphi. Technol Forecast Soc Change. 1991;39(3):253-263. doi: 10.1016/0040-1625(91)90040-M
[5] Niederberger M, Renn O, editors. Delphi-Verfahren in den Sozial- und Gesundheitswissenschaften: Konzept, Varianten und Anwendungsbeispiele. Wiesbaden: Springer VS; 2019. DOI: 10.1007/978-3-658-21657-3
[6] Linstone HA, Turoff M. The Delphi Method: Techniques and Applications. Bosten: Addison-Wesley Publishing Company; 2002.
[7] Homberg A, Schüttpelz-Brauns K. Delphi-Befragungen in der Ausbildungsforschung – Anwendungsbereiche und Umsetzung. In: Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Halle (Saale), 15.-17.09.2022. Düsseldorf: German Medical Science GMS Publishing House; 2022. DocV-10-04. DOI: 10.3205/22gma062
[8] Niederberger M, Deckert S. Das Delphi-Verfahren: Methodik, Varianten und Anwendungsbeispiele [The Delphi technique: Methodology, variants and usage examples]. Z Evid Fortbild Qual Gesundhwes. 2022;174:11-19. DOI: 10.1016/j.zefq.2022.08.007
[9] Gordon M, Baker P, Catchpole K, Darbyshire D, Schocken D. Devising a consensus definition and framework for non-technical skills in healthcare to support educational design: A modified Delphi study. Med Teach. 2015;37(6):572-577. DOI: 10.3109/0142159X.2014.959910
[10] Ellaway RH, Thompson NL, Temple-Oberle C, Pacaud D, Frecker H, Jablonski TJ, Demers J, Mattatall F, Raiche J, Hull A, Jalil R. An undergraduate medical curriculum framework for providing care to transgender and gender diverse patients: A modified Delphi study. Perspect Med Educ. 2022;11(1):36-44. DOI: 10.1007/s40037-021-00692-7
[11] Berger-Estilita J, Nabecker S, Greif R. A Delphi consensus study for teaching "Basic Trauma Management" to third-year medical students. Scand J Trauma Resusc Emerg Med. 2019;27(1):91. DOI: 10.1186/s13049-019-0675-6
[12] Almeland SK, Lindford A, Berg JO, Hansson E. A core undergraduate curriculum in plastic surgery - a Delphi consensus study in Scandinavia. J Plast Surg Hand Surg. 2018;52(2):97-105. DOI: 10.1080/2000656X.2017.1343190
[13] Behrend R, Herinek D, Kienle R, Arnold F, Peters H. Entwicklung interprofessioneller Ausbildungsziele für die Gesundheitsberufe an der Charité – Universitätsmedizin Berlin – Eine Delphi-Studie [Development of Interprofessional Learning Outcomes for Health Professions at Charite - Universitatsmedizin Berlin - A Delphi-Study]. Gesundheitswesen. 2022;84(6):532-538. DOI: 10.1055/a-1341-1368
[14] Al Asmri M, Haque MS, Parle J. A Modified Medical Education Research Study Quality Instrument (MMERSQI) developed by Delphi consensus. BMC Med Educ. 2023;23(1):63. DOI: 10.1186/s12909-023-04033-6
[15] Fluit C, Bolhuis S, Grol R, Ham M, Feskens R, Laan R, Wensing M. Evaluation and feedback for effective clinical teaching in postgraduate medical education: Validation of an assessment instrument incorporating the CanMEDS roles. Med Teach. 2012;34(11):893-901. DOI: 10.3109/0142159x.2012.699114
[16] Kahr Rasmussen N, Nayahangan LJ, Carlsen J, Ekberg O, Brabrand K, Albrecht-Beste E, Bachmann Nielsen M, Konge L. Evaluation of competence in ultrasound-guided procedures-a generic assessment tool developed through the Delphi method. Eur Radiol. 2021;31(6):4203-4211. DOI: 10.1007/s00330-020-07280-z
[17] Rau T, Fegert JM, Kornmann M, Muche R, Gulich M, Barth H, Kornmann M, Fegert JM, Öchsner W. Erarbeitung von Empfehlungen zu universitären Prüfungen an der Medizinischen Fakultät Ulm. GMS Z Med Ausbild. 2010;27(1):Doc07. DOI: 10.3205/zma000644
[18] de Leeuw RA, Walsh K, Westerman M, Scheele F. Consensus on Quality Indicators of Postgraduate Medical E-Learning: Delphi Study. JMIR Med Educ. 2018;4(1):e13. DOI: 10.2196/mededu.9365
[19] Homberg A, Stock-Schröer B. Interprofessional Education on Complementary and Integrative Medicine. Clin Teach. 2021;18(2):152-157. DOI: 10.1111/tct.13280
[20] Teo YH, Peh TY, Abdurrahman A, Lee AS, Chiam M, Fong W, Wijaya L, Krishna LK. A modified Delphi approach to enhance nurturing of professionalism in postgraduate medical education in Singapore. Singapore Med J. 2024;65(6):313-325. DOI: 10.11622/smedj.2021224
[21] Thim S, Nayahangan LJ, Paltved C, Jensen RD, Konge L, Hertel NT, Balslev T. Identifying and prioritising technical procedures for simulation-based curriculum in paediatrics: a Delphi-based general needs assessment. BMJ Paediatr Open. 2020;4(1):e000697. DOI: 10.1136/bmjpo-2020-000697
[22] Bessmann EL, Østergaard HT, Nielsen BU, Russell L, Paltved C, Østergaard D, Konge L, Nayahangan LJ. Consensus on technical procedures for simulation-based training in anaesthesiology: A Delphi-based general needs assessment. Acta Anaesthesiol Scand. 2019;63(6):720-729. DOI: 10.1111/aas.13344
[23] Boulkedid R, Abdoul H, Loustau M, Sibony O, Alberti C. Using and reporting the Delphi method for selecting healthcare quality indicators: a systematic review. PLoS One. 2011;6(6):e20476. DOI: 10.1371/journal.pone.0020476
[24] Schifano J, Homberg A, Sonnberger M, Niederberger M. Reporting guidelines for Delphi techniques in health sciences: A methodological review. Z Evid Fortbild Qual Gesundhwes. 2022;172:1-11. DOI: 10.1016/j.zefq.2022.04.025
[25] Keeney S, Hasson F, McKenna HP. A critical review of the Delphi technique as a research methodology for nursing. Int J Nurs Stud. 2001;38(2):195-200. DOI: 10.1016/s0020-7489(00)00044-4
[26] Schifano J, Niederberger M. How Delphi studies in the health sciences find consensus: a scoping review. Syst Rev. 2025;14(1):14. DOI: 10.1186/s13643-024-02738-3
[27] Homberg A, Hirt J, Niederberger N, Häder M, Vollmar H, Cuhls K, Reiber K, Mohr J. Kann Delphi nur Zukunftsforschung? – Ein Blick in die Gesundheitswissenschaften. Z Zukunftsforsch. 2024;12(1). Zugänglich unter/available from: https://www.zeitschrift-zukunftsforschung.de/zukunftsforschung/article/view/7
[28] Shang Z. Use of Delphi in health sciences research: A narrative review. Medicine (Baltimore). 2023;102(7):e32829. DOI: 10.1097/MD.0000000000032829
[29] Häder M. Delphi-Befragungen: Ein Arbeitsbuch. 3. Auflage. Wiesbaden: Springer VS; 2014. DOI: 10.1007/978-3-658-01928-0
[30] Trevelyan EG, Robinson PN. Delphi methodology in health research: how to do it? Eur J Integr Med. 2015;7(4):423-428. DOI: 10.1016/j.eujim.2015.07.002
[31] Jünger S, Payne SA, Brine J, Radbruch L, Brearley SG. Guidance on Conducting and REporting DElphi Studies (CREDES) in palliative care: Recommendations based on a methodological systematic review. Palliat Med. 2017;31(8):684-706. DOI: 10.1177/0269216317690685
[32] Waggoner J, Carline JD, Durning SJ. Is there a consensus on consensus methodology? Descriptions and recommendations for future consensus research. Acad Med. 2016;91(5):663-668. DOI: 10.1097/ACM.0000000000001092
[33] Donohoe H, Stellefson M, Tennant B. Advantages and Limitations of the e-Delphi Technique. Am J Health Educ. 2012;43(1):38-46. DOI: 10.1080/19325037.2012.10599216
[34] Humphrey-Murto S, Varpio L, Gonsalves C, Wood TJ. Using consensus group methods such as Delphi and Nominal Group in medical education research. Med Teach. 2017;39(1):14-19. DOI: 10.1080/0142159x.2017.1245856
[35] Niederberger M, Schifano J, Deckert S, Hirt J, Homberg A, Köberich S, Kuhn R, Rommel A, Sonnberger M; DEWISS network. Delphi studies in social and health sciences-Recommendations for an interdisciplinary standardized reporting (DELPHISTAR). Results of a Delphi study. PLoS One. 2024;19(8):e0304651. DOI: 10.1371/journal.pone.0304651
[36] Linstone HA, Turoff M. The Delphi method: Techniques and applications. Addison-Wesley: Reading, Mass; 1975.
[37] McMillan SS, King M, Tully MP. How to use the nominal group and Delphi techniques. Int J Clin Pharm. 2016;38(3):655-662. DOI: 10.1007/s11096-016-0257-x
[38] Shewade HD, Jeyashree K, Kalaiselvi S, Palanivel C, Panigrahi KC. Competency-based tool for evaluation of community-based training in undergraduate medical education in India - a Delphi approach. Adv Med Educ Pract. 2017;8:277-286. DOI: 10.2147/AMEP.S123840
[39] Niederberger M, Köberich S; members of the DeWiss Network. Coming to consensus: the Delphi technique. Eur J Cardiovasc Nurs. 2021;20(7):692-695. DOI: 10.1093/eurjcn/zvab059
[40] Spranger J, Niederberger M. Handbuch: Unipark für Delphi-Befragungen. Schwäbisch Gmünd: University of Education; 2023. Zugänglich unter/available from: https://phsg.bsz-bw.de/frontdoor/deliver/index/docId/455/file/Handbuch_unipark_Delphi-Befragungen_SoSe23.pdf
[41] Aengenheyster S, Cuhls K, Gerhold L, Heiskanen-Schüttler M, Huck J, Muszynska M. Real-Time Delphi in practice — A comparative analysis of existing software-based tools. Technol Forecast Soc Change. 2017;118:15-27. DOI: 10.1016/j.techfore.2017.01.023
[42] Niederberger M, Renn O. Das Gruppendelphi-Verfahren. Wiesbaden: Springer Fachmedien; 2018. DOI: 10.1007/978-3-658-18755-2
[43] Groetker R. Expertenkonsultationen und Stakeholder-Befragungen mit Deliberativem Delphi (Expert Consultations and Stakeholder-Surveys with Deliberative Delphi). SSRN Electronic J. 27.09.2017. DOI: 10.2139/ssrn.3256258
[44] Estrella Porter PD, Ayala Mullo JF, Barba Carrera DA, Barros Castro AX, Cabascango Vasquez ES, Del Castillo Arellano JC, Condo Espinel PX, Eid Arellano EG, Estrella Porter JA, Falconi Paez AC, Fierro Valle MC, Gallegos Miranda PJ, Guerra Velastegui AR, Guevaraz Baez DC, Jara Santamaria BD, Lopez Diaz JA, Mejia Viana JC, Moya Quitto GF, Muenala PM, Muenala TC, Nocolalade López Bi, Oquendo Carrera AD, Ordoñez Paz AL, Ortiz Duque EF, Palacios Granda MC, Patoja Borja NS, Puga Martinez SE, Rueda Ordoñez CJ, Soto Gutierrez LP, Tixi Tapia GE, Torres Moscoso MB, Vaca Porras MA, Viteri Suárez MI, Gullemot JR. Medical education from the point of view of medical students: Results from four participatory Delphi panels in Quito, Ecuador. Med Teach. 2020;42(9):1051-1057. DOI: 10.1080/0142159X.2020.1792865
[45] Copeland C, Fisher J, Teodorczuk A. Development of an international undergraduate curriculum for delirium using a modified delphi process. Age Ageing. 2018;47(1):131-137. DOI: 10.1093/ageing/afx133
[46] Salihu HM, Dongarwar D, Malmberg ED, Harris TB, Christner JG, Thomson WA. Curriculum Enrichment Across the Medical Education Continuum Using e-Delphi and the Community Priority Index. South Med J. 2019;112(11):571-580. DOI: 10.14423/SMJ.0000000000001033
[47] Duncan E, O'Cathain A, Rousseau N, Croot L, Sworn K, Turner KM, Yardley L, Hoddinott P. Guidance for reporting intervention development studies in health research (GUIDED): an evidence-based consensus study. BMJ Open. 2020;10(4):e033516. doi: 10.1136/bmjopen-2019-033516
[48] Spickermann A, Zimmermann M, von der Gracht HA. Surface- and deep-level diversity in panel selection — Exploring diversity effects on response behaviour in foresight. Technol Forecast Soc Change. 2014;85:105-120. DOI: 10.1016/j.techfore.2013.04.009
[49] Baker J, Lovell K, Harris N. How expert are the experts? An exploration of the concept of 'expert' within Delphi panel techniques. Nurse Res. 2006;14(1):59-70. DOI: 10.7748/nr2006.10.14.1.59.c6010
[50] Hasson F, Keeney S, McKenna H. Research guidelines for the Delphi survey technique. J Adv Nurs. 2000;32(4):1008-1015.
[51] Turoff M. The Policy Delphi. In: Linstone HA, Turoff M, editors. The Delphi method: Techniques and applications. Newark (NJ): New Jersey Institute of Technology; 2002. p.80-96.
[52] Viljoen CA, Millar RS, Manning K, Burch VC. Determining electrocardiography training priorities for medical students using a modified Delphi method. BMC Med Educ. 2020;20(1):431. DOI: 10.1186/s12909-020-02354-4
[53] Garavalia L, Gredler M. Teaching Evaluation through Modeling: Using the Delphi Technique to Assess Problems in Academic Programs. Am J Eval. 2004;25(4):375-380. DOI: 10.1016/j.ameval.2004.05.006
[54] Lei L, Lin L, Deng J, Dong H, Luo Y. Developing an Organ Donation Curriculum for Medical Undergraduates in China Based on Theory of Planned Behavior: A Delphi Method Study. Ann Transplant. 2020;25:e922809. DOI: 10.12659/AOT.922809
[55] Shah S, McCann M, Yu C. Developing a National Competency-Based Diabetes Curriculum in Undergraduate Medical Education: A Delphi Study. Can J Diabetes. 2020;44(1):30-36.e2. DOI: 10.1016/j.jcjd.2019.04.019
[56] Urushibara-Miyachi Y, Kikukawa M, Ikusaka M, Otaki J, Nishigori H. Lists of potential diagnoses that final-year medical students need to consider: a modified Delphi study. BMC Med Educ. 2021;21(1):234. DOI: 10.1186/s12909-021-02652-5
[57] Barrios M, Guilera G, Nuño L, Gómez-Benito J. Consensus in the delphi method: What makes a decision change? Technol Forecast Soc Change. 2021;163:120484. DOI: 10.1016/j.techfore.2020.120484
[58] von der Gracht HA. Consensus measurement in Delphi studies. Technol Forecast Soc Change. 2012;79(8):1525-1536. DOI: 10.1016/j.techfore.2012.04.013
[59] Lange T, Kopkow C, Lutzner J, Gunther KP, Gravius S, Scharf HP, Stöve J, Wagner R, Schmitt J. Comparison of different rating scales for the use in Delphi studies: different scales lead to different consensus and show different test-retest reliability. BMC Med Res Methodol. 2020;20(1):28. DOI: 10.1186/s12874-020-0912-8
[60] Del Grande C, Kaczorowski J. Rating versus ranking in a Delphi survey: a randomized controlled trial. Trials. 2023;24(1):543. DOI: 10.1186/s13063-023-07442-6
[61] Johns R. One Size Doesn’t Fit All: Selecting Response Scales For Attitude Items. J Elect Public Opin Parties. 2005;15(2):237-264. DOI: 10.1080/13689880500178849
[62] Belton I, MacDonald A, Wright G, Hamlin I. Improving the practical application of the Delphi method in group-based judgement: a six-step prescription for a well-founded and defensible process. Health Technol Assess. 2019;147:72-82. DOI: 10.1016/j.techfore.2019.07.002
[63] Artino Jr AR, La Rochelle JS, Dezee KJ, Gehlbach H. Developing questionnaires for educational research: AMEE Guide No. 87. Med Teach. 2014;36(6):463-474. DOI: 10.3109/0142159x.2014.889814
[64] O'Cathain A, Thomas KJ. "Any other comments?" Open questions on questionnaires - a bane or a bonus to research? BMC Med Res Methodol. 2004;4:25. DOI: 10.1186/1471-2288-4-25
[65] Mayring P. Einführung in die qualitative Sozialforschung : eine Anleitung zu qualitativem Denken. 7., überarbeitete Auflage. Weinheim, Basel: Beltz; 2023.
[66] Braun V, Clarke V. Thematic analysis: a practical guide. Los Angeles, London, New Delhi, Singapore, Washington DC, Melbourne: SAGE; 2022.
[67] Früh W. Inhaltsanalyse: Theorie und Praxis. 9. überarbeitete Auflage. Konstanz: UVK Verlagsgesellschaft mbH; 2017. DOI: 10.36198/9783838547350
[68] Niederberger M, Schifano J, Deckert S, Hirt J, Homberg A, Köberich S, Kuhn R, Rommel A, Sonnberger M; DEWISS network. Delphi studies in social and health sciences-Recommendations for an interdisciplinary standardized reporting (DELPHISTAR). Results of a Delphi study. PLoS One. 2024;19(8):e0304651. DOI: 10.1371/journal.pone.0304651
[69] Schmidt RC. Managing Delphi Surveys Using Nonparametric Statistical Techniques. Decis Sci. 2007;28(3):763-774. DOI: 10.1111/j.1540-5915.1997.tb01330.x
[70] Dajani JS, Sincoff MZ, Talley WK. Staibility and agreement criteria for the termination of Delphi Studies. Technol Forecast Soc Change. 1979;13:83-90. DOI: 10.1016/0040-1625(79)90007-6
[71] Gattrell WT, Logullo P, van Zuuren EJ, Price A, Hughes EL, Blazey P, Winchester CC, Tovey D, Goldman K, Hungin AP, Harison N. ACCORD (ACcurate COnsensus Reporting Document): A reporting guideline for consensus methods in biomedicine developed via a modified Delphi. PLoS Med. 2024;21(1):e1004326. DOI: 10.1371/journal.pmed.1004326
[72] Wallace MJ, Zecharia A, Guilding C, Tucker S, McFadzean I. Developing a new undergraduate pharmacology core curriculum: The British Pharmacological Society Delphi Method. Pharmacol Res Perspect. 2021;9(4):e00832. DOI: 10.1002/prp2.832

---

Anhänge

Anhang 1	Checkliste für die Durchführung von Delphi-Studien in der medizinischen Ausbildungsforschung (Anhang_1.pdf, application/pdf, 92.17 KBytes)