[Was ist Medizinische Ausbildungsforschung? Eine Analyse und Begriffsbestimmung von Gegenständen, Zielen und Typen der Forschung anhand von Artikeln, die einen Peer-Review-Prozess durchlaufen haben]

 Katrin Schüttpelz-Brauns ¹
Achim Schneider ²
Götz Fabry ³
Jan Matthes ⁴
Monika Himmelbauer ⁵
Beatrice Buss ⁶
Marianne Giesler <sup>7

1</sup> Medizinische Fakultät Mannheim der Universität Heidelberg, Mannheim, Deutschland
² Universität Ulm, Medizinische Fakultät, Ulm, Deutschland
³ Universität Freiburg, Medizinische Fakultät, Freiburg i. Brsg., Deutschland
⁴ Universität zu Köln, Medizinische Fakultät, Köln, Deutschland
⁵ Medizinische Universität Wien, Wien, Österreich
⁶ Berner Fachhochschule, Department Gesundheit, Bern, Schweiz
⁷ Freiburg i. Brsg., Deutschland

Zusammenfassung

Hintergrund: Medizinische Ausbildungsforschung (MAF) soll einen Beitrag zum Erkenntnisgewinn sowie zur Weiterentwicklung der Ausbildungspraxis leisten. Seit Jahren wird jedoch die mangelnde Relevanz der in diesem Bereich durchgeführten Studien kritisiert. In der vorliegenden Arbeit sollen daher die Aufgaben und Ziele der MAF sowie die Art und Weise der Forschung in diesem Bereich geklärt werden. Hierzu werden die bisher in der MAF üblichen Gegenstände, Ziele und Typen der Forschung analysiert und Kategorien für diese entwickelt.

Methode: Die Entwicklung der Kategorien für Gegenstände und Forschungsziele erfolgte iterativ in drei Phasen mit mehreren Durchgängen anhand von Stichproben peer-begutachteter Artikel. Je nach Durchgang waren zwei bis sechs Personen in die unabhängige Kategorisierung, Konsentierung und Weiterentwicklung der Kategorien involviert. Zeitgleich wurden Forschungstypen für die MAF definiert.

Ergebnisse: 169 Artikel wurden beurteilt. Elf Gegenstandskategorien sowie acht Kategorien von Forschungszielen wurden identifiziert und vier als relevant erkannte Forschungstypen definiert.

Diskussion: Die gefundenen Kategorien für Gegenstände decken sich z. T. mit vorhandenen Kategoriensysteme, erweitern diese jedoch. Die identifizierten Forschungsziele sind spezifischer formuliert als es bisher der Fall war und präzisieren somit den Interpretationsspielraum.

Schlussfolgerung: Die entwickelten Kategoriensysteme können helfen, Gegenstände und Forschungsziele der Medizinischen Ausbildungsforschung genauer zu definieren sowie die Forschungstypen und ihre Bedeutung voneinander abzugrenzen. Zudem sind über die gefundenen Kategorien auch Trends und kurzlebige Phänomene abbildbar.

---

---

1. Einführung

Die Ausbildungsforschung an Hochschulen hat ihre Anfänge in den USA der 1920er Jahre [1]. In der Medizin hat sie sich dort ab den 50er Jahren unter der Bezeichnung medical education research etabliert [2], [3]. Medical Education Research war eine Reaktion auf verschiedene soziohistorische Faktoren, wie

Seit Jahren wird in internationalen Zeitschriften immer wieder die mangelnde Relevanz der in der Medizinischen Ausbildungsforschung betriebenen Forschung kritisiert, die zusammenfassend betrachtet einerseits im fehlenden Beitrag zur Wissenschaft im Sinne eines Erkenntnisgewinns, andererseits im Fehlen von Implikationen für die Praxis zum Ausdruck kommt. Die Kritik am fehlenden Erkenntnisgewinn bezieht sich z. B. auf irrelevante Themen oder auf die fehlende Generalisierbarkeit von Ergebnissen, die Kritik der fehlenden praktischen Implikationen z. B. auf die Anwendbarkeit der Ergebnisse auf die Praxis, aber auch auf die gemessenen Outcomes. In Tabelle 1 [Tab. 1] sind die einzelnen Kritikpunkte dargestellt und erläutert.

Um nachvollziehen zu können, wie Forschungsvorhaben der Medizinischen Ausbildungsforschung zum wissenschaftlichen Erkenntnisgewinn bzw. zur Weiterentwicklung der Praxis beitragen könnten, lohnt es sich, die Medizinische Ausbildungsforschung näher zu betrachten. Als erstes stellt sich die Frage nach den konkreten Themen bzw. Gegenständen, die in der Medizinischen Ausbildungsforschung beforscht werden (Gegenstände). Auch ist von Relevanz, welche Arten von Forschungszielen verfolgt werden (Forschungsziele) und welche Arten von Forschung (Forschungstyp) betrieben wird. In den nachfolgenden Abschnitten werden diese drei Bereiche der Medizinischen Ausbildungsforschung näher beleuchtet.

1.1. Gegenstände der Medizinischen Ausbildungsforschung

Schaut man sich einschlägige Lehrbücher an, dann wird die große Bandbreite von Gegenständen der Medizinischen Ausbildungsforschung ersichtlich [5], [6], [7], [8]. Diese Vielfalt zeigt sich auch in Artikeln, in denen die Gegenstände von Studien der Medizinischen Ausbildungsforschung systematisch analysiert und kategorisiert werden [9], [10]. Nicht immer sind diese Kategorien deckungsgleich. Da zudem einzelne Gegenstände aus unterschiedlichen Perspektiven betrachtet bzw. beforscht werden können, ist eine eindimensionale Aufzählung der Gegenstände schwer möglich.

Da es unseres Wissens nach keine allgemein anerkannte Systematik von Gegenständen in Studien der Medizinischen Ausbildungsforschung gibt, könnte für eine künftige Kategorisierung von Gegenständen in der Medizinischen Ausbildungsforschung ein in der Bildungspsychologie entwickeltes Strukturmodell [11] hilfreich sein. In diesem Modell sind die Gegenstände der Bildungspsychologie entlang von drei Dimensionen angeordnet. Diese sind: die Aufgabenbereiche Forschung, Beratung, Prävention, Intervention sowie Bildungsmonitoring und Evaluation, die Bildungskarriere, die die gesamte Lebensspanne umfasst und somit das lebenslange Lernen hervorhebt, sowie die Handlungsebenen (Mikro, Meso, Makro), auf denen die Aufgaben zu leisten sind. Ausgehend von diesem Modell könnten die Gegenstände der Medizinischen Ausbildungsforschung wie beispielsweise Studierendenauswahl, Lernen, Lehren, Prüfung, Curriculum der Dimension Aufgabenbereiche zugeordnet werden, die jeweils auf unterschiedlichen Ebenen (Individuum, Gruppen, Organisation) aber auch bezogen auf die Bildungskarriere (Ausbildung, Fortbildung, Weiterbildung) wissenschaftlich analysiert werden könnten.

1.2. Forschungsziele der Medizinischen Ausbildungsforschung

In der medizinischen Ausbildung gibt es zwei Rahmenwerke, die Forschungsziele der Medizinischen Ausbildungsforschung aufgreifen. Nach Cook et al. zielen Studien auf die Beschreibung (Description, Konzentration auf die Beobachtung), die Rechtfertigung (Justification, „Wie wirkt eine Maßnahme?“) oder die Erklärung (Clarification, „Wie funktioniert etwas?“, „Warum funktioniert etwas?“) ab [12]. In ihrem Research Compass fassen Ringsted et al. die Forschungsziele unter den Kategorien Modellierung (Modelling), Rechtfertigung (Justifying), Vorhersage (Predicting) und Implementierung (Implementing) zusammen [13]. In beiden Beiträgen liegt der Fokus jedoch auf der Art der Datenerhebung bzw. des Studiendesigns, mit denen diese Fragen beantwortet werden sollen. Wie die Kategorien der Forschungsziele entstanden sind, wird offengelassen.

1.3. Forschungstypen der Medizinischen Ausbildungsforschung

Betrachtet man die Literatur zur Einordnung von Forschungstypen in der Medizinischen Ausbildungsforschung, so gibt es eine Reihe von Forschenden, die diese auf einem eindimensionalen Kontinuum anordnen. So stellte Albert, der die Diskussionen in der Medizinischen Ausbildungsforschung aus soziologischer Sicht unter Zuhilfenahme des Feldkonzepts von Pierre Bourdieu analysierte, fest, dass Medizinische Ausbildungsforschung von zwei Interessengruppen betrieben wird [14]. Die eine Gruppe strebt danach, das Wissen des Forschungsgebietes zu erweitern und zu vertiefen (Erkenntnisinteresse). Diese Interessengruppe repräsentiert die Grundlagenforschung. Studien dieses Forschungstyps zielen darauf ab, allgemeine Phänomene und ihre Beziehungen grundlegend zu verstehen [13], [15], [16]. Damit soll im Rahmen der Medizinischen Ausbildungsforschung das Wissen und das Verständnis von Lernen und Ausbildung vertieft werden [13]. Der Fokus liegt hierbei auf der Frage „Warum funktioniert etwas?“ [13], [16]. Die Ableitung der Forschungsfrage muss daher in das bisherige Wissen zu dem Thema und ggf. auch in einen theoretischen Rahmen eingebettet sein. Die andere Interessengruppe ist bestrebt, mit Hilfe von Forschung praktische Probleme in der medizinischen Ausbildung zu lösen [14] (Anwendungsinteresse). Diese Gruppe repräsentiert die angewandte Forschung. Studien dieses Forschungstyps zielen darauf ab Probleme für die Praxis zu lösen [17]. Diese können sowohl die Effektivität der Maßnahmen auf das Lernen betreffen [18], als auch die Wirkung von Maßnahmen auf die Gesellschaft bzw. auf die Patient*innen [19], [20], [21], [22]. Bei der Relevanz der Forschung aus Sicht der angewandt Forschenden geht es vor allem um die praktischen Implikationen der Forschungsergebnisse zur Verbesserung der medizinischen Ausbildung [13].

Die eindimensionale Betrachtung mit den Extremen Erkenntnisinteresse vs. Anwendungsinteresse gibt es auch in anderen Forschungsdisziplinen und wurde von Stokes ausführlich beschrieben [23]. Stokes weist jedoch darauf hin, dass die Ziele von Studien zweidimensional betrachtet werden sollten. Diese Dimensionen repräsentieren das Vorhandensein bzw. das Nichtvorhandensein von Erkenntnisinteresse und Anwendungsinteresse. In seinem zweidimensionalen Quadrantenmodell lassen sich zunächst drei unterschiedliche Forschungstypen unterscheiden, mit denen verschiedene Ziele verfolgt werden [23]. In der reinen Grundlagenforschung (pure basic research) werden Studien durchgeführt, um Phänomene im wissenschaftlichen Feld zu verstehen. Hier geht es um den reinen Erkenntnisgewinn ohne Anspruch auf praktische Anwendung [23]. Die angewandte Forschung (pure applied research) zielt auf einen individuellen, Gruppen- oder gesellschaftlichen Bedarf oder die Anwendung ab. Hier geht es um das reine Anwendungsinteresse ohne Anspruch eines Erkenntnisgewinns [23]. Durch die zweidimensionale Darstellung entsteht ein dritter Quadrant, bei dem sowohl Erkenntnisinteresse als auch Anwendungsinteresse hoch sind. Dieser Quadrant repräsentiert die anwendungsorientierte Grundlagenforschung (use-inspired basic research). Bei diesem Forschungstyp werden unbekannte Grundlagen getestet und gesellschaftliche Bedürfnisse erfüllt [23].

Für drei der Quadranten gibt Stokes konkrete Beispiele an. Der vierte Quadrant ist zwar unbenannt, aber keineswegs leer. Diesem Quadranten ordnet Stokes Forschungsarbeiten zu, die weder von Erkenntnis- noch von Anwendungsinteresse inspiriert sind, sondern stattdessen bestimmte Phänomene systematisch erforschen [23], [24].

1.4. Zielsetzung und Forschungsfragen

Die vorangegangenen Versuche, die Medizinische Ausbildungsforschung anhand ihrer Gegenstände, Forschungstypen und Forschungsziele näher zu beschreiben, um so letztendlich die Bedeutung ihrer Studien bezogen auf ihre Beiträge zur Erkenntnisgewinn und Implikationen für die Praxis aufzuzeigen, hat einige Lücken sichtbar gemacht. So existieren aufgrund der Themen- bzw. Gegenstandsvielfalt keine einheitlichen Gegenstandskategorien in der Medizinischen Ausbildungsforschung. Ebenso wenig existieren konkrete Kategorien von Forschungszielen, die im Allgemeinen in der Medizinischen Ausbildungsforschung angestrebt werden bzw. angestrebt werden sollten. Und auch wenn die Zuordnung der Studien der Medizinischen Ausbildungsforschung zu den vier möglichen Kategorien von Stokes gut machbar zu sein scheint, liegen keine genauen Kenntnisse vor über die Art der Forschung, die in der Medizinischen Ausbildungsforschung betrieben wird. Um diese Lücken zu füllen, sollen in der vorliegenden Studie die Gegenstände und Ziele der Medizinischen Ausbildungsforschung sowie die Art und Weise der Forschung in diesem Bereich geklärt werden. Hierzu sollen folgende drei Fragen beantwortet werden:

1. Welche Gegenstände werden in der medizinischen Ausbildung beforscht?
2. Welche Forschungsziele werden mit der Medizinischen Ausbildungsforschung verfolgt?
3. Welche im Quadrantenmodell nach Stokes [23] aufgeführten Forschungstypen lassen sich für die Medizinische Ausbildungsforschung ableiten?

2. Methoden

Es ist anzunehmen, dass peer-reviewte Artikel aus der Medizinischen Ausbildungsforschung, die mögliche Bandbreite von Gegenständen, Forschungszielen und Forschungstypen aus Sicht der verfassenden, begutachtenden und herausgebenden Personen wiedergeben. Um diese Annahme zu überprüfen, wurde ein an die Dokumentenanalyse [25] angelehntes Verfahren gewählt. In drei Phasen mit mehreren Durchgängen und Stichproben wurden ausgewählte Artikel den Bereichen Gegenstand, Forschungsziele und Forschungstypen zugeordnet. In Phase 1 (induktives Vorgehen [26]) wurden für diese Bereiche Kategorien entwickelt, denen die Studien zugeordnet werden konnten. Phase 2 (deduktives Vorgehen [26]) wurde genutzt, um die Kategorien mehrfach zu überarbeiten. In Phase 3 (Feinjustierung) wurden die Kategorien und ihre Erläuterungen geschärft. Ein Überblick über alle Phasen gibt Tabelle 2 [Tab. 2].

2.1. Stichproben

Insgesamt gab es fünf Stichproben (SP1 bis SP5) von Artikeln, die sich bezüglich der Quelle sowie den Einschluss- und Ausschlusskriterien unterscheiden.

Die Stichproben wurden jeweils unabhängig voneinander gezogen, um bei der Weiterentwicklung von Kategorien bzw. deren Überprüfung ein möglichst breites Feld abdecken zu können. Gegen Ende der zweiten Phase stellte sich heraus, dass eine wiederholte Ziehung weiterer Artikel zu keinen neuen Erkenntnissen geführt hätte, sodass die Artikel aus SP1 bis SP5 in einer Datei zusammengefasst wurden. Dabei wurden doppelt vorhandene Artikel anhand der DOI identifiziert und entfernt. Aus der resultierenden Datei wurden im weiteren Verfahren jeweils zufällig Artikel ausgewählt unter Ausschluss der Studien aus rein medizinischen Fachzeitschriften. Eine detaillierte Beschreibung der Stichprobenauswahl befindet sich in Anhang 1 [Anh. 1].

2.2. Vorgehen

Die Entwicklung der Kategorien erfolgte iterativ (siehe Abbildung 1 [Abb. 1]) über mehrere Durchgänge (DG) hinweg (siehe Tabelle 2 [Tab. 2]). Die Kategorien für Gegenstände und Forschungsziele wurden dabei inhaltlich erarbeitet, während die Kategorien für die Forschungstypen nach Stokes [23] vorgegeben waren, und lediglich für die Medizinische Ausbildung angepasst werden mussten.

Vier der beurteilenden Personen kommen aus der Psychologie (MG, MH, AS, KSB), zwei aus der Medizin (GF, JM) und eine aus der Physiotherapie (BB).

2.2.1. Phase 1: Induktives Vorgehen (DG1-DG2)

DG1 zielte darauf ab, Anfangskategorien für Forschungsziele zu finden und Artikel den Forschungstypen nach Stokes [23] zuzuordnen (siehe Tabelle 2 [Tab. 2]). Hierzu wurden zunächst von zwei Autorinnen (MG, KSB) unabhängig voneinander jeweils das Forschungsziel des Artikels, das Erkenntnisinteresse sowie das Anwendungsinteresse paraphrasiert. Aus der Kombination aus Erkenntnis- und Anwendungsinteresse wurde der Forschungstyp abgeleitet. Nicht-Übereinstimmungen bei den Forschungszielen bzw. adressierte Forschungstypen wurden diskutiert, bis eine Einigung in den Einschätzungen erzielt wurde. Das induktive Verfahren wurde gewählt, um unabhängig von den Kategorien von Cook [12] und Ringsted [13] Forschungsziele zu entwickeln und ggf. diese mit unterschiedlichen Methoden im Sinne einer Triangulation zu validieren.

Das Ziel für DG2 war die Überprüfung der Kategorien für Gegenstände, Forschungsziele und Forschungstypen durch fünf unabhängige beurteilende Personen (BB, MH, JM, AS, KSB). Die Kategorien für Gegenstände und Forschungsziele sowie die Einteilung in die Forschungstypen waren dabei vorgegeben. Das oben beschriebene Strukturmodell der Bildungspsychologie [11] bildete die Basis der Entwicklung der Anfangskategorien für Gegenstände der Medizinischen Ausbildungsforschung. Den einzelnen Dimensionen dieses Modells wurden die in der Medizinischen Ausbildungsforschung gängigen Studiengegenstände zugeordnet (siehe Tabelle 3 [Tab. 3]). Die Kategorien für die Forschungsziele ergaben sich aus den Ergebnissen aus DG1. Da davon auszugehen war, dass sich die Forschungsziele den Kategorien der Forschungstypen zuordnen lassen, war die jeweilige Zuordnung der Forschungsziele zu den Forschungstypen vorgegeben.

Auf forschungsökonomischen Gründen erfolgte die Zuordnung von Artikeln zu beurteilenden Personen nach einem balancierten Plan (siehe Anhang 2 [Anh. 2]).

Nicht-Übereinstimmungen der Zuordnung zu den Kategorien wurden identifiziert. Falls möglich, wurden die Kategorien unter Berücksichtigung der Anmerkungen zu den einzelnen Gegenständen bzw. Forschungszielen im Nachgang neu zugeordnet.

2.2.2. Phase 2: Deduktives Vorgehen (DG3-DG8)

DG3-DG5 dienten der Weiterentwicklung der Kategorien für Gegenstände, Forschungsziele sowie der Einordnung in die Forschungstypen (siehe Tabelle 2 [Tab. 2]). Die Kategorien waren vorgegeben und ergaben sich aus den Ergebnissen des jeweiligen vorherigen DG. Zwei Beurteilerinnen (MG, KSB) ordneten unabhängig voneinander die Artikel jeweils den Kategorien zu. Nicht-Übereinstimmungen der Kategorien wurden diskutiert, Kategorien ggf. umbenannt und neu geordnet sowie Erläuterungen zu den einzelnen Kategorien eingefügt.

Ziel von DG6 war es, die in DG5 konsentierten Kategorien inklusive der Erläuterungen für Gegenstände und Forschungsziele sowie die Einordnung zu den Forschungstypen zu überprüfen. Hierfür beurteilten fünf Personen (MG, MH, JM, AS, KSB) unabhängig voneinander die Artikel. Auch hier wurde aus forschungsökonomischen Gründen ein balancierter Plan für die Zuordnung der Beurteilerinnen und Beurteiler zu Artikeln verwendet. Dieser Plan ist äquivalent mit dem aus DG2, nur, dass in jeder Zelle sechs statt fünf Artikel beurteilt wurden.

Sowohl in DG7 als auch in DG8 wurden die Kategorien bei Nicht-Übereinstimmung von MG, MH, JM, AS und KSB besprochen und angepasst. Vor DG 8 analysierten MG und GF jeweils aus psychologischer und medizinischer Sicht, die als kritisch angesehenen Artikel, d.h., solche Artikel, die eine Überschneidung von mehreren Forschungstypen aufwiesen. Der Fokus lag dabei auf den Forschungszielen und ihren Zusammenhang mit den Forschungstypen.

2.2.3. Phase 3: Feinjustierung (DG9-DG11)

In der Phase der Feinjustierung wurden die Kategorien und Erläuterungen für Gegenstände, Forschungsziele und Forschungstypen geschärft (siehe Tabelle 2 [Tab. 2]). Auch hier erfolgten mehrere DG mit Diskussion der Nicht-Übereinstimmungen, Überarbeitung bzw. Schärfung der Kategorien und unabhängige Beurteilung jeweils mit drei Beteiligten (MG, AS, KSB).

2.3. Analyse der Beurteilungsübereinstimmungen

Zur Feststellung der Beurteilungsübereinstimmung wurden Kappa-Maße berechnet, die als zufallsbereinigt anzusehen sind [27], [28]. Zur Ermittlung der Übereinstimmung von zwei beurteilenden Personen wurde Cohens Kappa (κ) berechnet und zur Ermittlung der Übereinstimmung von mehr als 2 Personen Fleiss κ.

In Phasen 1 und 2 wurden für die Einschätzungen der zehn bzw. 18 bewerteten Paare Cohens κ ermittelt. Diese wurden für alle Kategorien des Bereichs Gegenstände, der Forschungsziele und der Forschungstypen berechnet. In einem zweiten Schritt wurde für alle Bereiche jeweils der Median dieser Werte als Schätzung der durchschnittlichen Übereinstimmung zwischen allen beurteilenden Personen bestimmt, da der Median in diesem Fall das Maß ist, das die Gesamtstichprobe am besten charakterisiert [27]. In Phase 1 wird im Ergebnisteil auf die Angabe der Signifikanzen verzichtet, da die ermittelten k-Werte lediglich jeweils auf den Einschätzungen von fünf Artikeln beruhen.

In Phase 3 wurde Fleiss κ berechnet, da die vorgegebenen Artikel durch drei Personen einzuschätzen waren. Mit diesem Maß kann nicht nur die Beurteilungsübereinstimmung des gesamten Kategoriensystems bestimmt werden, sondern auch für jede einzelne Kategorie.

Als Interpretationshilfe zur Beurteilung des Ausmaßes an Übereinstimmung gelten nach Landis und Koch folgende Angaben: κ<0,00 schlechte Übereinstimmung, 0,00-0,20 geringe Übereinstimmung, 0,21-0,40 ausreichende Übereinstimmung, 0,41-0,60 mittelmäßige Übereinstimmung, 0,61-0,80 beachtliche Übereinstimmung und 0,81-1,00 fast vollkommene Übereinstimmung [28]. Bei den Beurteilungen mit drei Personen wurden die Beurteilungsrunden so lange durchgeführt bis ausreichende Beurteilungsübereinstimmungen erreicht wurden.

3. Ergebnisse

3.1. Stichprobenbeschreibung

Über alle Stichproben hinweg wurden 197 Artikel ausgewählt, wovon 28 in zwei Stichproben vorhanden waren. Daher wurden insgesamt 169 Artikel beurteilt. Im Laufe des Beurteilungsprozesses wurden zwei Artikel identifiziert, die nicht den Kriterien einer Studie entsprachen: In einem Artikel wurden eine Forschungsmethode und ihre Anwendung in der Medizinischen Ausbildung dargestellt. Bei dem anderen Artikel handelte es sich um einen Brief an den Herausgeber. Beide Artikel wurden aus den weiteren Analysen ausgeschlossen.

Angaben zu den Artikeln aus den einzelnen Stichproben finden sich in Tabelle 4 [Tab. 4].

3.2. Entwicklung der Kategorien

Da in dieser Studie ein iteratives Vorgehen gewählt wurde, werden die Ergebnisse der einzelnen Phasen an dieser Stelle, nicht wie in wissenschaftlichen Studien üblich, nur beschreibend berichtet, sondern genutzt, um das weitere Vorgehen zu begründen.

Am Ende von Phase 1 wurden für zehn Paare, die Artikel bewertet haben, die folgenden Beurteilungsübereinstimmungen ermittelt:

• Gegenstandsbereiche
• Kategorie Aufgabenbereiche: κ=-0,111-0,737; κ_Md=0,143
• Kategorie Bildungskarriere: κ=-0,250-1,000; κ_Md=0,302
• Kategorie Handlungsebenen: κ=-0,071-0,412; κ_Md=0,185
• Forschungsziele: κ=-0,087-0,800; κ_Md=0,243
• Forschungstypen: κ=-0,364-0,444; κ_Md=0,000.

Während der Phase des induktiven Vorgehens (Phase 1) zeigte sich, dass sich teilweise die den Dimensionen des Strukturmodells der Bildungsforschung (Aufgabenbereiche, Bildungskarriere, Handlungsebenen) zugeordneten Gegenstände überschnitten. So waren z. B. die Gegenstände Lehren, Lernen und Curriculum nicht immer trennscharf voneinander zu unterscheiden. Zudem konnten einige Gegenstände den Dimensionen Handlungsebene und Bildungskarriere nicht eindeutig zugeordnet werden. Ausgehend von diesen Überschneidungen, die zum Teil die geringen Beurteilungsübereinstimmungen verursacht haben könnten, wurde das Konzept von drei Dimensionen aufgegeben und alle Gegenstände zu einem Gegenstandsbereich zusammengefasst. Sowohl für die Gegenstände als auch für die Forschungsziele wurde in den Durchgängen der Phase 2 die Kategorien sukzessive im Konsensverfahren angepasst. Dies betraf die Kategorien selbst als auch die Erläuterungen zu diesen. Als besonders schwierig erwies sich die Konsensfindung, da die Beurteilerinnen und Beurteiler dieser Studie wegen ihrer unterschiedlichen fachlichen Sozialisation verschiedene Vorstellungen über Wissenschaft hatten. Daneben gab es Unschärfen bei den Begriffen sowie fehlende und sich überschneidende Kategorien. Zudem zeigte sich, dass die Dimensionen Erkenntnis- und Anwendungsinteresse im Quadrantenmodell nach Stokes [23] unterschiedlich interpretiert werden können. Unter Zuhilfenahme von zusätzlicher Literatur [23], [29], [30], [31], [32] und der Diskussion konkreter Studien wurden die Forschungstypen stärker voneinander abgegrenzt.

Für den letzten Durchgang von Phase 2 wurden für 18 Paare, die Artikel bewertet haben, folgende Cohens Kappa berechnet:

• Gegenstände: κ=-0,053–0,722; κ_Md=0,214
• Forschungsziel: κ=-0,111–0,643; κ_Md=0,268
• Forschungstyp: κ=-0,176–1,000; κ_Md=0,354

Im Zuge der Feinjustierung wurde der vierte Quadrant wie von Bush [33] vorgeschlagen als background research (Hintergrundforschung) umbenannt. Diese Änderung ging mit einer höheren Beurteilungsübereinstimmung einher. Am Ende dieser Phase waren die Beurteilungsübereinstimmungen wie folgt: für Gegenstände κ_Fleiss=0,63, p<0,001, für Forschungsziel κ_Fleiss=0,52, p<0,001 und für Forschungstyp κ_Fleiss=0,58, p<0,001. Die Ergebnisse zu den einzelnen Kategorien sind in Anhang 3 [Anh. 3], Tabellen A1-A3 aufgeführt.

3.3. Gegenstände, Forschungsziele und Forschungstypen der Medizinischen Ausbildungsforschung

Nach Abschluss der drei Phasen stehen nunmehr elf Gegenstandskategorien, acht Kategorien von Forschungszielen sowie Erläuterungen zu den Forschungstypen zur Verfügung (siehe Tabelle 5 [Tab. 5], Tabelle 6 [Tab. 6] und Tabelle 7 [Tab. 7]).

4. Diskussion

Ausgangspunkt für diese Studie ist die oftmals beklagte fehlende Relevanz der Medizinischen Ausbildungsforschung. Denn der Medizinischen Ausbildungsforschung wird häufig vorgeworfen mit ihren Studien kaum zum Erkenntnisgewinn in diesem Bereich beizutragen oder aber auch Erkenntnisse zu produzieren, die wenig praxisbezogen sind.

Um besser nachvollziehen zu können, wie Forschungsvorhaben in der Medizinischen Ausbildungsforschung Beiträge zur Wissenschaft im Sinne von Erkenntnisgewinn oder zur Weiterentwicklung der Praxis leisten können, wurden in dieser Studie folgende Fragen gestellt:

1. Welche Gegenstände werden in der medizinischen Ausbildung beforscht?
2. Welche Forschungsziele werden mit der Medizinischen Ausbildungsforschung verfolgt?
3. Welche im Quadrantenmodell nach Stokes [23] aufgeführten Forschungstypen lassen sich für die Medizinische Ausbildungsforschung ableiten?

Um diese Fragen zu beantworten, wurden Forschungsartikel, die Peer-Reviews durchlaufen haben, herangezogen und entsprechend analysiert. Dies geschah in einem iterativen Prozess, in dem Ausgangskategorien der einzelnen Bereiche überprüft und angepasst wurden. Dieser Prozess der unabhängigen Überprüfung der Kategorien und Anpassung wechselten einander ab, bis eine zufriedenstellende Beurteilungsübereinstimmung erreicht wurde.

Die gefundenen Kategorien zu den Gegenständen decken sich zum Teil mit bisherigen Kategorien. So verwenden Raes et al. [9] ähnliche Kategorien mit einer etwas anderen Sortierung, z. B. sind die Lehr-Lernmethoden von Raes et al. bei uns aufgeteilt in Lehrmethoden und Eigenschaften, Motivation und Verhalten von Lernenden und Lehrenden. Die sieben Forschungsthemen von Raes et al. konnten wir bis auf zwei replizieren. Der Gegenstand Fakultätsentwicklung kann in der vorliegenden Kategorisierung je nach Thema den Kategorien Curriculum, Qualitätskriterien und -indikatoren oder Positionen, Funktionen, Rollen, Karriere zugeordnet werden. Entsprechend kann der Gegenstand soziale Kompetenz der Kategorie Eigenschaften, Motivation und Verhalten von Lernenden und Lehrenden zugeordnet werden. Verglichen mit den von Rotgans beschriebenen Gegenstandskategorien [10] sind keine Übereinstimmungen festzustellen, da die von uns entwickelten Kategorien übergeordnet formuliert sind. So können der Rubrik Messinstrumente die von Rotgans aufgeführten Gegenstände „Issues in student assessment, objective structured clinical examination, clinical competence assessment“ zugeordnet werden. Das in der vorliegenden Arbeit für Gegenstände entwickelte Kategoriensystem fügt sich somit gut in die bisherigen Kategorisierungsversuche ein, erweitert diese jedoch und hat den Vorteil, dass auch neue Gegenstände in diese Kategorisierung aufgenommen werden können.

Was die Forschungsziele der Medizinischen Ausbildungsforschung betrifft, lassen bisherige Klassifikationen Interpretationsspielraum. Sowohl bei Cook [12] als auch bei Ringsted [13] werden zwar Kategorien für Forschungsziele aufgelistet. Es wird jedoch weder dargestellt, wie man auf diese Forschungsziele kommt, noch, was diese konkret bedeuten. So können einige der von uns untersuchten Studien der Kategorie Beschreibung von Cook [12] zugeordnet werden. Beispielsweise gibt es Studien, in denen Phänomene beschrieben werden, die mit bisherigen Theorien nicht zu erklären sind. Diese Studien liefern damit einen Ausgangspunkt für die Weiterentwicklung und empirische Prüfung von Theorien. Andere Studien wiederum, in denen beispielsweise die Verbreitung bestimmter Lehr- oder Prüfungsformate ohne theoretische oder praktische Implikationen dargestellt werden, können gemäß der Kategorisierung von Cook et al. ebenfalls der Kategorie Beschreibung zugeordnet werden. In der vorliegenden Kategorisierung für Forschungsziele werden jedoch solche Studien der Kategorie Darstellung eines Status quo zugeordnet.

Zusammenfassend betrachtet lassen sich die von uns identifizierten Forschungsziele, zwar grob in die bisherigen Klassifikationen einordnen. Sie sind jedoch so spezifisch formuliert, dass sie eher eine eindeutige Zuordnung garantieren, da der Interpretationsspielraum weitestgehend eingeschränkt wurde. Zudem wurden weitere Forschungsziele identifiziert, die sich auf die (Weiter-) Entwicklung und Überprüfung von Messinstrumenten und Datenanalyseverfahren sowie auf die Entwicklung von konsensbasierten, normativen Vorgaben und Empfehlungen beziehen.

Bezogen auf die für die Medizinische Ausbildungsforschung als relevant erachteten Forschungstypen ließen sich in unserer Untersuchung drei Forschungstypen ableiten: anwendungsorientierte Grundlagenforschung, angewandte Forschung und Hintergrundforschung. Eine Kategorie Grundlagenforschung konnte dagegen nicht identifiziert werden. Bezugnehmend auf die Forderungen von Eva und Ringsted scheint dieses Ergebnis partiell stimmig zu sein, denn gemäß ihren Ausführungen sollte sich die Medizinische Ausbildungsforschung auf die anwendungsorientierte Grundlagenforschung beziehen, also sowohl das Erkenntnis- als auch das Anwendungsinteresse adressieren. So schreibt Ringsted „Research in medical education seeks to deepen the knowledge and understanding of learning, teaching and education. It is neither about solving concrete, local problems nor about providing general, universal solutions“ ([13], p.695). Eva geht es vor allem um das Verstehen von Phänomenen, die praktisch relevant sind („identify phenomena of interest (and practical relevance)“… „imperative of understanding“, [16], p.295). Um diese praktisch relevanten Phänomene zu verstehen, müssen wir die Prozesse des Lernens, Lehrens und der Bildung untersuchen. Da diese Prozesse nicht direkt beobachtbar sind, treten prüfbare Theorien in den Vordergrund, die diese Prozesse erklären können. Diese Theorien sind jedoch Gegenstand der reinen Grundlagenforschung [34]. In der Medizinischen Ausbildungsforschung wird reine Grundlagenforschung jedoch noch viel zu selten betrieben. Tolsgaard et al. ordneten in ihrem systematischen Review lediglich 2% der randomisierten Studien dem Bohr-Quadranten (=reine Grundlagenforschung) zu [35]. Die Seltenheit des Vorkommens solcher Studien mag daher ein Grund sein, warum in der vorliegenden Untersuchung keine Studien gefunden wurden, die der reinen Grundlagenforschung zuzuordnen sind. Aufgrund der bereits oben beschriebenen Bedeutung dieser Kategorie, wurden die Forschungstypen um die Kategorie Grundlagenforschung ergänzt.

4.1. Stärken und Schwächen der Studie

Die Stärke unserer Studie liegt darin, dass bisherige Klassifikationen für Forschungsziele einen starken Fokus auf die Forschungsmethodik haben. Die Auswahl der Forschungsmethodik sollte jedoch erst erfolgen, wenn eine relevante Forschungsfrage identifiziert ist. Bei unseren Diskussionen und Zuordnungen spielte die Forschungsmethodik jedoch keine Rolle, sodass wir unabhängig von der Wahl der „richtigen“ Methode die Forschungsziele identifizieren konnten. Hervorzuheben ist, dass peer-begutachtete Artikel, von denen anzunehmen war, dass sie relevante Forschung repräsentieren, einem an eine Dokumentenanalyse angelehnten Verfahren unterzogen wurden. Zur Entwicklung der Kategorien und ihren Erläuterungen wurde iterativ vorgegangen, indem sich Phasen der Konsensfindung und der Prüfung der Beurteilungsübereinstimmung abwechselten. Zudem wurden Personen aus unterschiedlichen Wissenskulturen einbezogen.

Durch den iterativen Prozess der Stichprobenziehung, Kategorisierung, Konsentierung, Übereinstimmungskontrolle, Überarbeitung der Kategorisierung an weiteren Artikeln etc. konnten Kategorien entwickelt werden, die auch Trends und zeitlich begrenzten Themen standhalten. So werden Themen wie Künstliche Intelligenz oder COVID-Pandemie zwar nicht wörtlich in den Kategorien aufgeführt, sind jedoch dennoch implizit vorhanden, z. B. als Lehr- oder Prüfungsformat bzw. Veränderung von Studierendenmotivation.

Die Studie weist auch einige Schwächen auf. Vor allem in der Phase der Feinjustierung (Phase 3) erschwerten einige schlecht konzipierte Studien die Kategorienbildung, weil z.B. Gegenstände und Forschungsziele nicht explizit benannt oder in verschiedenen Teilen der Artikel (z.B. Abstract vs. Volltext) nicht stringent adressiert wurden. Diese Inkonsistenzen wirkten sich vermutlich negativ auf die Beurteilungsübereinstimmung aus. Ein weiteres Problem stellte die unterschiedliche Verwendung der Begriffe Theorie und Modell in manchen Artikeln dar. Zum einen wurden diese Begriffe zur Beschreibung natürlicher Prozesse herangezogen, um diese dann anhand empirischer Daten zu prüfen (epistemische Bedeutung). Zum anderen wurden die Begriffe Theorie und Modell verwendet, ohne jedoch den Anspruch zu verfolgen, Verhalten und Erleben zu erklären bzw. zu beschreiben. Stattdessen war das Ziel dieser Studien, sich auf einheitliche Vorgaben zu einigen (normative Bedeutung). Auch die Zuordnung zu den Forschungstypen wurde manchmal durch Mängel bzw. Uneindeutigkeiten in den Artikeln beeinträchtigt. Es wurden mitunter Forschungsziele beschrieben, die eigentlich der anwendungsorientierten Grundlagenforschung hätten zugeordnet werden können, aber wegen des fehlenden Theoriebezugs nicht zugeordnet werden konnten. Zusammenfassend betrachtet, können solche Mängel zu einer Einschränkung des Ausmaßes der Beurteilungsübereinstimmung führen.

Eine weitere mögliche Schwäche der vorliegenden Studie ist, dass einige Kategorien seltener zur Kategorisierung der Artikel gewählt wurden. Dies könnte daran liegen, dass Studien, die sich solchen Kategorien zuordnen lassen, tatsächlich seltener durchgeführt werden. Nicht auszuschließen ist zudem, dass unsere Erläuterungen dieser Kategorien noch zu ungenau sind. Unser Vorgehen war auf die Entwicklung der Kategorien und ihren Erläuterungen fokussiert und nicht darauf, das tatsächliche Vorkommen der Studien in den einzelnen Kategorien festzustellen und zu berücksichtigen.

5. Fazit

Unsere Kategoriensysteme können helfen, Gegenstände und Forschungsziele der Medizinischen Ausbildungsforschung genauer zu definieren sowie die Forschungstypen und ihre Bedeutung besser voneinander abzugrenzen. Damit sollte es möglich sein, relevante Forschungsfragen zu formulieren und ein Vorgehen zu wählen, in dem erklärende Theorien eine Rolle spielen bzw. das (allgemeine) Problem der Praxis im Vordergrund steht, je nachdem, um welchen Forschungstyp es sich handelt. Erst im nächsten Schritt sollte die Forschungsmethodik so gewählt werden, dass mit Hilfe der erhobenen und ausgewerteten Daten die Forschungsfrage beantwortet werden kann. Zusätzlich sollten die verwendeten Begriffe und vor allen deren Bedeutung diskutiert und konsentiert werden, damit zukünftig die Beteiligten das Gleiche meinen und ihre Studien besser zum Erkenntnisgewinn in der Medizinischen Ausbildung und schließlich zur Weiterentwicklung der Praxis beitragen können.

Danksagung

Wir danken cand. med. Olivia Steiger für die Zuarbeiten bei der Literatur.

ORCIDs der Autor*innen

• Katrin Schüttpelz-Brauns: [0000-0001-9004-0724]
• Achim Schneider: [0000-0002-8602-8535]
• Götz Fabry: [0000-0002-5393-606X]
• Jan Matthes: [0000-0003-2754-1555]
• Monika Himmelbauer: [0000-0001-5516-1993]
• Beatrice Buss: [0000-0001-7270-382X]
• Marianne Giesler: [0000-0001-9384-2343]

Interessenkonflikt

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.

---

Literatur

[1] McKeachie WJ. Research on College Teaching: The Historical Background. J Educ Psychol. 1990;82(2):189-200. DOI: 10.1037/0022-0663.82.2.189
[2] Norman G. Fifty years of medical education research: waves of migration. Med Educ. 2011;45(8):785-791. DOI: 10.1111/j.1365-2923.2010.03921.x
[3] Schmidt HH, Mamede S. How cognitive psychology changed the face of medical education research. Adv Health Sci Educ Theory Pract. 2020;25(5):1025-1043. DOI: 10.1007/s10459-020-10011-0
[4] Kuper A, Albert M, Hodges BD. The origins of the field of medical education research. Acad Med. 2010;85(8):1347-1353. DOI: 10.1097/ACM.0b013e3181dce9a7
[5] Swanwick T, Forrest K, O’Brien BC, editors. Understanding Medical Education: Evidence, Theory, and Practice, 3rd ed. Hoboken (NJ): Wiley Blackwell; 2018. DOI: 10.1002/9781119373780
[6] Dent J, Harden R, Hunt D, editors. A practical guide for medical teachers. 6th ed. London, UK: Elsevier; 2021.
[7] Norman GR, Vleuten CP, Newble DI, Dolmans DH, Mann KV, Rothman A, Curry L, editors. International Handbook of Research in Medical Education. Dordrecht: Springer; 2012.
[8] Fabry G. Medizindidaktik. Für eine kompetenzorientierte, praxisrelevante und wissenschaftlich fundierte Ausbildung. 2. vollst. überarb. Aufl. Bern: Hogrefe; 2023. DOI: 10.1024/85852-000
[9] Raes P, Bauer D, Schöppe F, Fischer MR. The active participation of German-speaking countries in conferences of the Association for Medical Education in Europe (AMEE) between 2005 and 2013: A reflection of the development of medical education research? GMS Z Med Ausbild. 2014;31(3):Doc28. DOI: 10.3205/zma000920
[10] Rotgans JI. The themes, institutions, and people of medical education research 1988-2010. Adv Health Sci Educ Theory Pract. 2012;17(4):515-527. DOI: 10.1007/s10459-011-9328-x
[11] Spiel C, Wagner P, Götz T, Lüftenegger M, Schober B. Bildungspsychologie: Konzeption, Strukturmodell, Stellenwert und Perspektiven. In: Spiel C, Götz T, Wagner P, Lüftenegger M, Schober B, editors. Bildungspsychologie – ein Lehrbuch. 2. vollst. überarb. Aufl. Göttingen: Hogrefe; 2022. p.11-30. DOI: 10.1026/03108-000
[12] Cook DA, Bordage G, Schmidt HG. Description, justification and clarification: a framework for classifying the purposes of research in medical education. Med Educ. 2008;42(2):128-133. DOI: 10.1111/j.1365-2923.2007.02974.x
[13] Ringsted C, Hodges B, Scherpbier A. 'The research compass': an introduction to research in medical education: AMEE Guide no. 56. Med Teach. 2011;33(9):695-709. DOI: 10.3109/0142159X.2011.595436
[14] Albert M. Understanding the debate on medical education research: a sociological perspective. Acad Med. 2004;79(10): 948-954. DOI: 10.1097/00001888-200410000-00009
[15] Eva K. Broadening the debate about quality in medical education research. Med Educ. 2009;43(4):294-296. DOI: 10.1111/j.1365-2923.2009.03342.x
[16] Eva K. Publishing during COVID-19: Lessons for health education research. Med Educ. 2021;55(3):278-280. DOI: 10.1111/medu.14450
[17] Albert M, Hodges B, Regehr G. Research in medical education: balancing service and science. Adv Health Sci Educ Theory Pract. 2007;12(1):103-115. DOI: 10.1007/s10459-006-9026-2
[18] Regehr G. It's NOT rocket science: rethinking our metaphors for research in health professions education. Med Educ. 2010;44(1):31-39. DOI: 10.1111/j.1365-2923.2009.03418.x
[19] Whitcomb ME. Research in medical education: what do we know about the link between what doctors are taught and what they do? Acad Med. 2002;77(11):1067-1068. DOI: 10.1097/00001888-200211000-00001
[20] Gruppen LD. Improving medical education research. Teach Learn Med. 2007l;19(4):331-335. DOI: 10.1080/10401330701542370
[21] Leif M, Semarad N, Ganesan V, Selting K, Burr J, Svec A, Clements P, Talmon G. The Quality Of Evidence In Preclinical Medical Education Literature: A Systematic Review. Adv Med Educ Pract. 2019;10:925-933. DOI: 10.2147/AMEP.S212858
[22] Colliver JA, McGaghie WC. The reputation of medical education research: quasi-experimentation and unresolved threats to validity. Teach Learn Med. 2008;20(2):101-103. DOI: 10.1080/10401330801989497
[23] Stokes DE. Pasteur’s Quadrant. Basic Science and Technological Innovation. Washington, D.C.: Brookings Institution Press; 1997.
[24] Jovanović M. Fußspuren in der Publikationslandschaft: Einordnung wissenschaftlicher Themen und Technologien in grundlagen- und anwendungsorientierte Forschung mithilfe bibliometrischer Methoden. Stuttgart: Frauenhofer-Verlag; 2011.
[25] Hoffmann N. Dokumentenanalyse in der Bildungs- und Sozialforschung. Überblick und Einführung. Weinheim: Beltz Juventa; 2017.
[26] Flick U. Qualitative Forschung. Theorie, Methoden, Anwendung in Psychologie und Sozialwissenschaften. 5. Aufl. Reinbek bei Hamburg: Rowohlt; 2000.
[27] Wirtz M, Caspar F. Beurteilerübereinstimmung und Beurteilerreliabilität. Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen. Göttingen: Hogrefe; 2002.
[28] Landis RJ, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-174.
[29] Brüggemann A, Bromme R. Anwendungsorientierte Grundlagenforschung in der Psychologie: Sicherung von Qualität und Chancen in den Beurteilungs- und Entscheidungsprozessen der DFG. Psycholog Rundschau. 2006;57(2):112-118.
[30] Döring N, Bortz J. Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. 5. vollst. überarb. aktual. und erweit. Aufl. Berlin: Springer; 2016. DOI: 10.1007/978-3-642-41089-5
[31] Reinders H, Gräsel C, Ditton H. Praxisbezug Empirischer Bildungsforschung. In: Reinders H, Ditton H, Gräsel C, Gniewosz B, editors. Empirische Bildungsforschung. Gegenstandsbereiche. Wiesbaden: VS Verl. für Sozialwiss. 2011. p.221-233. DOI: 10.1007/978-3-531-93021-3_19
[32] Fischer F, Waibel M, Wecker C. Nutzenorientierte Grundlagenforschung im Bildungsbereich. Zeitschr Erzwiss. 2005;8(3):427-442.
[33] Bush V. Science: The Endless Frontier; A report to the President on a Program for Postwar Scientific Research. Reprint anlässlich des 75. Jahrestages. National Science Foundation; 2020. Zugänglich unter/available from: https://www.nsf.gov/about/history/EndlessFrontier_w.pdf
[34] Ellaway RH, Hecker KG. What role does basic research have in an applied field? Adv Health Sci Educ Theory Pract. 2022;27(2):289-292. DOI: 10.1007/s10459-022-10117-7
[35] Tolsgaard MG. Medical education research in obstetrics and gynecology. Am J Obst Gyn. 2019;220(1):121. DOI: 10.1016/j.ajog.2018.09.013
[36] Meyer HS, Durning SJ, Sklar DP, Maggio LA. Making the first cut: an analysis of academic medicine editors’ reasons for not sending manuscripts out for external peer review. Acad Med. 2018;93(3):464-470. DOI: 10.1097/ACM.0000000000001860
[37] Prystowsky JB, Bordage G. An outcomes research perspective on medical education: the predominance of trainee assessment and satisfaction. Med Educ. 2001;35(4):331-336. DOI: 10.1046/j.1365-2923.2001.00910.x
[38] Biesta GJJ, van Braak M. Beyond the medical model: Thinking differently about medical education and medical education research. Teach Learn Med. 2020;32(4):449-456. DOI: 10.1080/10401334.2020.1798240
[39] Norman G. Editorial - how bad is medical education research anyway? Adv Health Sci Educ Theory Pract. 2007;12(1):1-5. DOI: 10.1007/s10459-006-9047-x
[40] Lurie SJ. Raising the passing grade for studies of medical education. JAMA. 2003;290(9):1210-1212. DOI: 10.1001/jama.290.9.1210
[41] Bolander Laksov K, Dornan T, Teunissen PW. Making theory explicit - An analysis of how medical education research(ers) describe how they connect to theory. BMC Med Educ. 2017;17(1):18. DOI: 10.1186/s12909-016-0848-1
[42] Nichols TR, Wisner, PM, Cripe G, Gulabchand L. Putting the Kappa Statistic to Use. Qual Assur J. 2010;13:57-61. DOI: 10.1002/qaj.481
[43] Souvignier E, Gold A. Wirksamkeit von Lehrmethoden. In: Schweizer K, editor. Leistung und Leistungsdiagnostik. Berlin: Springer; 2006. p.146-166. DOI: 10.1007/3-540-33020-8_10
[44] Tenorth HE, Tippelt R, editors. Lexikon Pädagogik. Weinheim: Beltz; 2007. p.137f.
[45] Döring N. Forschungsmethoden und Evaluation in Sozial- und Humanwissenschaften. 6. Aufl. Berlin: Springer; 2023. DOI: 10.1007/978-3-662-64762-2

---

Anhänge

Anhang 1	Beschreibung zur Stichprobenauswahl (Anhang_1.pdf, application/pdf, 133.26 KBytes)
Anhang 2	Balancierter Plan von 50 Artikeln, die in Phase 1 im zweiten Durchgang zur Überprüfung der gefundenen Kategorien dienten (Anhang_2.pdf, application/pdf, 147.14 KBytes)
Anhang 3	Beurteilungsübereinstimmungen zum Abschluss der Studie (Anhang_3.pdf, application/pdf, 151.86 KBytes)