zma000694 10.3205/zma000694 urn:nbn:de:0183-zma0006945 Projekt/project Implementation of assessments according to the guidelines of the GMA: A survey of the medical faculties in Baden-Württemberg Jünger Jünger Jana J Dr. med.

Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland

jana.juenger@med.uni.heidelberg.de author Möltner Möltner Andreas A Dr., Dipl.-Math., Dipl.-Psych.

Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Im Neuenheimer Feld 346, 69120 Heidelberg, Deutschland, Tel.: 06221/56-5562, Fax: 06221/56-7175Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland

andreas.moeltner@med.uni.heidelberg.de author Lammerding-Köppel Lammerding-Köppel Maria M Dr. med. MME

Eberhard-Karls-Universität Tübingen, Kompetenzzentrum für Hochschuldidaktik in der Medizin Baden-Württemberg, Tübingen, Deutschland

maria.lammerding@med.uni-tuebingen.de author Rau Rau Thea T Dr. med.

Universität Ulm, Kompetenzzentrum E-Learning in der Medizin Baden-Württemberg, Ulm, Deutschland

thea.rau@uni-ulm.de author Obertacke Obertacke Udo U Prof. Dr. med.

Universität Mannheim, Kompetenzzentrum Praktisches Jahr Baden-Württemberg, Mannheim, Deutschland

udo.obertacke@uch.ma.uni-heidelberg.de author Biller Biller Silke S Dr.

Albert-Ludwigs-Universität Freiburg, Kompetenzzentrum Evaluation in der Medizin Baden-Württemberg, Freiburg, Deutschland

silke.biller@uniklinik-freiburg.de author Narciß Narciß Elisabeth E

Universität Mannheim, Kompetenzzentrum Praktisches Jahr Baden-Württemberg, Mannheim, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 medical education assessment guidelines quality criteria for assessment Medizinische Ausbildung Prüfungsleitlinien Qualitätskriterien für Prüfungen Humanmedizin 20091202 20100428 20100506 20100816 germ 1860-3572 27 4 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 57 Mit der Einführung der novellierten Ärztlichen Approbationsordnung im Jahr 2002 wurde bundesweit ein Reformprozess in Gang gesetzt, mit dem Ziel, das Medizinstudium an den Universitäten praxisorientierter zu gestalten und eine Qualitätssicherung im Bereich der Lehre zu etablieren. Um hierbei die medizinischen Fakultäten Baden-Württembergs zu unterstützen, wurden fünf Kompetenzzentren an den medizinischen Fakultäten des Landes gegründet, die sich zum Kompetenznetz Lehre Baden-Württemberg zusammengeschlossen haben.Das Kompetenznetz Lehre hat an den fünf medizinischen Fakultäten Baden-Württembergs eine Befragung zum Umsetzungsstatus der in der GMA-Leitlinie für fakultätsinterne Leistungsnachweise dargelegten Anforderungen an qualitativ hochwertige Prüfungen im klinischen Abschnitt des Medizinstudiums durchgeführt. Um den vordringlichen Bedarf für die Unterstützung der medizinischen Fakultäten des Landes Baden-Württemberg bei der Umsetzung der Leitlinien durch das Kompetenznetz Lehre zu ermitteln, wurde eine Priorisierung der nächsten Aufgaben bei der Verbesserung der Qualität der universitären medizinischen Prüfungen vorgenommen.Es zeigte sich, dass wesentliche Teile des in den Leitlinien formulierten Anforderungskatalogs bereits erfüllt wurden oder wenigstens mittelfristig an den Fakultäten umsetzbar sind. Festgestellt wurde aber, dass die Etablierung strukturierter Reviewprozesse bei der Prüfungsvorbereitung und insbesondere der Nachbereitung noch auf deutliche Schwierigkeiten stößt. Im Rahmen einer Fokusgruppenanalyse wurden als vorrangige Arbeitsziele für das Kompetenznetz Lehre die Unterstützung der medizinischen Fakultäten für den Begutachtungsprozess der Prüfungsaufgaben („Review“), die Erstellung eines Gesamtprüfungsprogramms und von Prüfungsberichten mit statistischer Auswertung definiert. Einen weiteren Schwerpunkt bildet die Qualifizierung von Prüfungsverantwortlichen zum Thema Prüfungen.Die Ergebnisse decken sich im Wesentlichen mit einer ähnlichen Befragung der medizinischen Fakultäten in Bayern und zeigen, dass organisatorische Strukturen, wie sie mit den Kompetenzzentren für Lehre und Prüfungen in Baden-Württemberg und Bayern geschaffen wurden, eine wesentliche Hilfestellung bei der Qualitätssicherung von Prüfungen bieten können. With the introduction of the new medical licensing regulation [1] in 2002, a reform process was initiated nationwide that aimed to redesign medical degree programs at universities to make them more practice-oriented and to establish quality assurance in teaching. Five centers of excellence were set up at the medical schools in Baden-Württemberg that merged to form the Network for Excellence in Medical Education.The Network for Excellence in Medical Education carried out a survey among the five medical schools in Baden-Württemberg on the implementation of the requirements set down in the GMA guidelines for university-specific, high-quality assessments during the clinical phase of medical studies. The network’s next steps for improving the quality of assessments at medical schools were prioritized in order to determine the urgency of support to be given to Baden-Württemberg’s faculties of medicine in implementing the GMA requirements.It became apparent that essential parts of the requirements formulated in the guidelines had already been fulfilled or at least could be fulfilled in the near future. It was observed that establishing structured review processes during assessment preparation and in particular the follow-up presented considerable difficulties. A focus group analysis identified the following objectives for the network: supporting medical schools in their review processes; compiling a comprehensive assessment program and assessment reports with statistical analysis. Training the people responsible for assessment is another priority.The results largely correspond to those from a similar survey carried out among medical schools in Bavaria and show that organizational structures, such as those that have been established in the centers of excellence in education and assessment in Baden-Württemberg and Bavaria, can offer essential support in the quality assurance of assessment. EinleitungDurch die Novellierung der Ärztlichen Approbationsordnung im Jahr 2002 wurde bundesweit ein Reformprozess in Gang gesetzt mit dem Ziel, das Medizinstudium an den Universitäten praxisorientierter zu gestalten und qualitätssichernde Maßnahmen zu entwickeln, um den Erfolg der Ausbildung sicher zu stellen. Zur Unterstützung der medizinischen Fakultäten Baden-Württembergs wurden hierzu seit dem Jahr 2004 fünf Kompetenzzentren an den verschiedenen Universitäten angesiedelt, die sich zum Kompetenznetz Lehre Baden-Württemberg zusammengeschlossen haben. Eine Darstellung der Aufgaben der Kompetenzzentren Evaluation (Freiburg), Didaktik (Tübingen), Prüfungen (Heidelberg), E Learning (Ulm) und Praktisches Jahr (Mannheim) findet sich in . Einen besonderen Stellenwert bei der Qualitätssicherung der Lehre besitzen dabei die fakultätsinternen Prüfungen, die nunmehr in Form benoteter Leistungsnachweise Bestandteil des Abschlusszeugnisses sind. Damit sind die Anforderungen an die Qualität der universitären Leistungsnachweise erheblich angestiegen. Zwischen Januar und März 2006 erfolgte durch das Kompetenzzentrum Prüfungen eine Befragung der Prüfungsbeauftragten aller Fächer und Querschnittsbereiche des klinischen Studienabschnitts der medizinischen Fakultäten in Baden-Württemberg. Dabei wurde zunächst ein Fragebogen in Form einer elektronischen Checkliste versandt, in der die einzelnen Prüfungsverantwortlichen Auskunft über Art und Umfang der Prüfungsvorbereitung, -durchführung und -nachbereitung gaben. Danach wurden die Prüfungsbeauftragten durch Mitarbeiter des Kompetenzzentrums direkt vor Ort befragt und Ergänzungen und evtl. notwendige Korrekturen der Angaben vorgenommen. Einzelne Nachbefragungen zur Vervollständigung der Daten, die meist telefonisch durchgeführt wurden, erstreckten sich bis Mitte des Jahres 2006. Die Ergebnisse mündeten in einem „Statusbericht“, die den jeweiligen Studiendekanaten übergeben wurden , , , . Neben der detaillierten Auflistung der Ergebnisse enthielten die Statusberichte auch eine qualitative Bewertung der Ergebnisse und Empfehlungen zur Qualitätsverbesserung der Prüfungen. Ergänzend wurden auf Wunsch auch Einzelberatungen für die Prüfungsbeauftragten der Fächer und Querschnittsbereiche durchgeführt.Um im Bereich Prüfungen den medizinischen Fakultäten eine Hilfestellung zu bieten, wurde ausgehend von den Erfahrungen bei der Datenerhebung vom Ausschuss für Prüfungen der Gesellschaft für Medizinische Ausbildung (GMA) und dem Kompetenzzentrum für Prüfungen in der Medizin Baden-Württemberg im Jahr 2008 eine „Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinstudiums“ veröffentlicht. Darin werden in Form einer Checkliste strukturelle und prozedurale Rahmenbedingungen beschrieben, die zur Durchführung qualitativ hochwertiger und zuverlässiger Prüfungen erforderlich sind. Für die baden-württembergischen Fakultäten wurde vom Kompetenznetz Lehre die Umsetzung dieser Leitlinien als Zielsetzung übernommen.Der Medizinische Fakultätentag hat im Jahr 2007 beim Studiendekanat der medizinischen Fakultät und dem Kompetenzzentrum für Prüfungen in Heidelberg eine bundesweite Umfrage zum Thema „fakultätsinterne Prüfungen“ in Auftrag gegeben. Aus den Ergebnissen der Umfrage wird deutlich, dass zwar in vielen Fakultäten noch Mängel bei der Qualität der durchgeführten Prüfungen konstatiert werden müssen, andererseits aber auch, dass die Mehrzahl der bundesdeutschen Universitäten bereits erhebliche Anstrengungen unternommen hat, um den Ansprüchen an fakultätsinterne Leistungsnachweise gerecht zu werden , .Um den aktuellen Umsetzungsstand der Leitlinien bei den universitären Prüfungen im klinischen Abschnitt des Studiums zu erfassen und gemeinsame Strategien zu deren Realisierung zu planen, hat die Geschäftsstelle des Kompetenznetzes Lehre in Mannheim eine Befragung zum Umsetzungsstatus der einzelnen Kriterien der Leitlinie bei den Studiendekanaten und Prüfungsverantwortlichen der Fakultäten durchgeführt. Hiermit sollte auch eine Aktualisierung der Ergebnisse des Jahres 2006 auf Fakultätsebene vorgenommen werden, darüber hinaus diente die Erhebung dazu, schwer umsetzbare Aspekte der Leitlinie zu identifizieren. Für alle Kriterien wurde daher erfragt, ob diese bereits bei allen Prüfungen im klinischen Studienabschnitt umgesetzt sind oder als mittelfristig (d. h. im Lauf von etwa zwei bis vier Semestern), längerfristig oder gar nicht realisierbar eingeschätzt werden. Darüber hinaus wurde für schwer umsetzbare Kriterien im Rahmen einer Fokusgruppenanalyse eine Priorisierung vorgenommen, auf Grund derer Schwerpunkte für die Unterstützungstätigkeit der medizinischen Fakultäten seitens des Kompetenznetzes Lehre gesetzt wurden.Zeitlich parallel zu der hier vorgestellten Umfrage für die baden-württembergischen Fakultäten wurden vom Kompetenzzentrum Prüfungen an der Ludwig-Maximilians-Universität in München die fünf bayerischen medizinischen Fakultäten befragt, inwieweit dort die Leitlinien der GMA Anwendung finden .Gemeinsam ist beiden Umfragen, dass erhoben wurde, welche Punkte bereits erfüllt sind. In der bayerischen Umfrage stand der Grad der Umsetzung (Anteil der Einzelfächer, die die einzelnen Punkte umsetzen) und die Detailliertheit der Angaben im Vordergrund. In der hier dargestellten Studie für Baden-Württemberg wurde hingegen die zeitliche Perspektive bei der Umsetzbarkeit der noch nicht erfüllten Anforderungen erfragt und zusätzlich im Rahmen der Fokusgruppenanalyse eine Festlegung der vordringlichen Aufgaben in den medizinischen Fakultäten vorgenommen. MethodenDie Studie erfolgte in zwei Schritten. Eine Fragebogenerhebung diente zur Erfassung des Standes der Umsetzung der Leitlinie für fakultätsinterne Prüfungen. Eine Konsolidierung und Präzisierung der Ergebnisse erfolgte bei Treffen des Kompetenznetzes und einer gemeinsamen Sitzung mit den Studiendekanen des Landes Baden-Württemberg.Aufbauend auf den Ergebnissen der Statuserhebung wurde im zweiten Schritt eine Prioritätensetzung bei den noch nicht umgesetzten Punkten der Leitlinie im Rahmen einer Fokusgruppenanalyse vorgenommen. Die identifizierten Kriterien wurden als Grundlage für den Unterstützungsbedarf der medizinischen Fakultäten festgelegt.FragebogenerhebungDatenerhebung: Im März 2008 wurde der Fragebogen von der Geschäftsstelle des Kompetenznetzes Lehre in Mannheim an die Leiter der Kompetenzzentren und die Studiendekanate der medizinischen Fakultäten Baden-Württembergs (Freiburg, Heidelberg, Mannheim, Tübingen, Ulm) versandt.Bis Juli 2008 wurden die ausgefüllten Fragebogen an die Geschäftsstelle zurückgesandt und eine vorläufige deskriptive Auswertung vorgenommen. Nach Rückfrage bei den Studiendekanaten und übergeordneten Prüfungsbeauftragten der Fakultäten wurden im Rahmen einer Sitzung des Kompetenznetzes im Herbst 2008 einzelne fehlende Angaben ergänzt und Inkonsistenzen bei der Beantwortung ausgeräumt. Die Ergebnisse wurden anschließend im Dezember 2008 bei einer Sitzung der Studiendekane diskutiert.Erhebungsinstrument: Die „Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinstudiums“ enthält 48 Einzelpunkte, die folgenden übergeordneten Themenbereichen zuzuordnen sind:allgemeine strukturelle Vorbedingungen (19 Items)Prüfungskonzeption und -bewertung (12 Items)organisatorische Vorbereitung (5 Items)Durchführung der Prüfung (3 Items)Auswertung und Dokumentation (5 Items)Rückmeldung an die Studierenden (2 Items)Prüfungsnachbereitung (2 Items)Der Fragebogen zur Umsetzbarkeit der Leitlinie bestand aus genau diesen Items. Für diese war jeweils anzugeben, ob die Anforderung als „erledigt/bereits umgesetzt“, „in Arbeit/mittelfristig umsetzbar“, „Implementation nur nach längerem Prozess möglich“ oder „an dieser Fakultät nicht umsetzbar“ eingestuft wird. Der Zeitrahmen für „mittelfristig umsetzbar“ wurde mit „zwei bis vier Semester“ präzisiert. Bei den Punkten der Leitlinie, die sich auf die Qualitätsaspekte der einzelnen Prüfungen beziehen, ist die vollständige Umsetzung bei allen Fächern zu verstehen.PrioritätensetzungDie Fragebogenerhebung stellt den ersten Schritt in dem 2-stufigen Prozess zur Priorisierung der Zielsetzungen für das Kompetenznetz bei der Umsetzung der Leitlinien dar. Die Ergebnisse der Fragebogenerhebung geben einerseits Auskunft darüber, welche Punkte noch umgesetzt werden müssen und in welchem Zeitrahmen eine Realisierung möglich erscheint. Zusammen mit der Relevanz, die den Punkten an den verschiedenen Fakultäten zugemessen wird, sollte im zweiten Schritt im Rahmen einer Fokusgruppe – bei Abwägung von zeitlicher Realisierbarkeit und Bedeutsamkeit – eine Prioritätensetzung erfolgen. Diese dient als Grundlage für die vom Kompetenznetz Lehre zu erbringende Unterstützung der Fakultäten bei der Umsetzung der Leitlinie.Die Fokusgruppensitzung fand im Februar 2009 statt. An ihr nahmen Leiter und Mitarbeiter aller Kompetenzzentren und übergeordnete Prüfungsbeauftragte der medizinischen Fakultäten teil. Unter Berücksichtigung der Anmerkungen und Vorschläge der Studiendekane vom Dezember 2008 (s. o.) wurde für jede Fakultät eine Liste von primär aufzugreifenden Punkten gebildet. Diese wurden hinsichtlich der Nennungshäufigkeiten quantifiziert und eine Rangbildung der vordringlichen Probleme vorgenommen. Weitere Aktualisierungen der Daten mit Gruppendiskussion erfolgten im Juni und im November 2009. ErgebnisseFragebogenerhebungIm Folgenden werden die Ergebnisse der Fragebogenerhebung dargestellt, zusätzliche Angaben, die der Erläuterung der Ergebnisse dienen, entstammen den Diskussionen mit den Studiendekanen und den Teilnehmern der Fokusgruppensitzungen. Allgemeine Strukturelle VorbedingungenDurch einen Gesamtprüfungsplan werden die Prüfungen der einzelnen Fächer aufeinander abgestimmt. Dadurch soll einerseits inhaltlich gesichert werden, dass alle zu prüfenden Prüfungsinhalte tatsächlich abgedeckt werden und keine ungewünschte Prüfung des gleichen Stoffs oder gleicher Fertigkeiten bei unterschiedlichen Fächern erfolgt. Vielmehr sollten Prüfungsinhalte, die aufgrund ihrer Relevanz zweifach geprüft werden, dem Kenntnisstand der Studierenden im laufenden Curriculum angepasst sein. Organisatorisch dient der Gesamtprüfungsplan dazu, die Prüfungstermine und damit die Belastung der Studierenden durch Prüfungsvorbereitungen sinnvoll zu verteilen.Zwei Fakultäten haben einen solchen Gesamtplan bereits weitestgehend realisiert, die anderen drei Fakultäten geben an, dass ein solcher bereits in Vorbereitung ist und mittelfristig (d. h. spätestens im Verlauf der nächsten beiden Jahre) oder langfristig fertig gestellt werden kann (siehe hierzu und den anderen strukturellen Vorbedingungen Tabelle 1 ).Eine notwendige Voraussetzung für die Erstellung eines Gesamtprüfungsplans ist ein vollständiger Lernzielkatalog, der bereits an drei Fakultäten existiert und an den beiden anderen z. Z. weitgehend realisiert wird.Kriterium 1.4 der Leitlinie bezieht sich insbesondere auf die Verwendung praktischer Prüfungsformate zur Prüfung praktischer Fertigkeiten (siehe Erläuterung E1 der Leitlinie ). Während in einer Fakultät objektiv-strukturierte klinische Prüfungen („OSCE“) in nahezu allen klinisch-praktischen Fächern als Teil der Abschlussprüfung eingesetzt werden, sehen auf Grund des hohen personellen und logistischen Aufwands drei Fakultäten nur mittelfristig die Möglichkeit, solche oder andere praktische Prüfungen für alle klinisch-praktischen Fächer zu etablieren. Eine Fakultät geht davon aus, dass eine Implementierung erst langfristig möglich ist. Hier ist anzumerken, dass jedoch an allen Fakultäten einige oder sogar eine Reihe von Fächern bereits OSCEs als praktische Prüfung einsetzen (von den Fakultäten werden zwischen 3 und 12 Fächer, im Mittel 6,8, berichtet).Bei den schriftlich zu fixierenden Regelungen zu den fakultären Prüfungen (1.5.1 – 12, siehe Tabelle 1 ) sind die Anforderungen der Leitlinie im Wesentlichen erfüllt, bei einigen Fakultäten sind die noch fehlenden Regelungen in Vorbereitung.Während bei drei Fakultäten für alle Fächer Prüfungsverantwortliche aktuell benannt sind, benötigen zwei Fakultäten hierzu noch etwas Zeit. Vier Fakultäten erscheint es nur mittelfristig möglich, für diese eine medizindidaktische Zertifizierung oder Qualifizierung für den Bereich Prüfungen sicherzustellen. Als Grund wurde in den Diskussionen die Fluktuation von Fachprüfungsverantwortlichen genannt. Eine Fakultät sieht hier Schwierigkeiten, die nur langfristig lösbar erscheinen.Prüfungskonzeption und -bewertungBei den Fragen zur Prüfungskonzeption und -bewertung sehen die Fakultäten insgesamt einen höheren Zeitbedarf für die Umsetzung als für die Kriterien für die strukturellen Vorbedingungen (deutlich höherer Anteil von Nennungen „mittel-„ oder „langfristig umsetzbar“, siehe Tabelle 2 und siehe Tabelle 1 ). Obwohl an allen Fakultäten Review-Prozesse durchgeführt werden, gibt keine Fakultät an, dass bei sämtlichen Fächern eine angemessene Aufgabenbegutachtung vor der Prüfung („Pre-Review“) erfolgt. Insbesondere fürchtet eine Fakultät, dass eine Aufgabenbegutachtung, an dem zwei Fachvertreter und ein Vertreter eines anderen Fachs beteiligt sind, möglicherweise an der Fakultät nicht möglich ist.Auch das Ziel, Prüfungen mit einer Reliabilität von wenigstens 0.8 (wie sie üblicherweise für relevante Prüfungen gefordert wird) durchzuführen, ist bei keiner Fakultät für alle Fächer erreicht. Hier stehen insbesondere kleinere Fächer vor dem Problem, Klausuren oder andere Prüfungen mit einer hinreichend großen Zahl von Aufgaben stellen zu können, weshalb zwei Fakultäten nur eine langfristige Umsetzung erwarten (Angaben der Studiendekane in der Diskussion). Eine Fakultät befürchtet, dass hierfür innerhalb der nächsten Jahre überhaupt keine Möglichkeit besteht.Organisatorische Vorbereitung und DurchführungDie Vorgaben der Leitlinie zur Bekanntgabe der Prüfungstermine und Prüfungsanmeldung können von allen Fakultäten als erfüllt gelten. Die Raum- und insbesondere Personalsituation sehen mehrere Fakultäten lediglich mittelfristig verbesserbar. Sämtliche Fakultäten geben an, dass eine Schulung der Prüfer und Korrektoren in Bezug auf einheitliche Bewertungskriterien noch nicht in allen Fächern erfolgt ist (siehe Tabelle 3 ).Vier Fakultäten gehen davon aus, dass die Einhaltung der formalen Kriterien zum Prüfungsablauf sicher gestellt ist. Drei Standorte geben an, dass eine vollständige Kontrolle der Prüfungsunterlagen nur mittelfristig zu erreichen ist. In der Diskussion mit den Studiendekanen wird hierfür vor allem die Personalsituation in der Lehre verantwortlich gemacht. Eine Verbesserung kann durch ressourcenoptimierte Prüfungsabläufe erreicht werden (siehe Tabelle 3 ).Auswertung, Rückmeldung und NachbereitungBei einer Fakultät erfolgt bereits eine teststatistische Prüfungsauswertung und Endauswertung nach evtl. notwendigen Korrekturen (einschl. erneuter statistischer Auswertung) für alle Fächer, die anderen sehen hier eine mittelfristige Umsetzungsmöglichkeit. Auswertungen mit Prüfungsbericht, die sämtliche Fächer einschließen, sind an allen Fakultäten mittelfristig möglich (siehe Tabelle 4 ).Die Punkte, die den Bereich „Rückmeldung der Ergebnisse an die Studierenden“ betreffen, sind bereits überall umgesetzt. Hingegen sind die Anforderungen zur Nachbereitung der Prüfungen und zur Rückmeldung der Ergebnisse an die Curriculumsentwickler und Fachvertreter offensichtlich nicht leicht zu erfüllen. Hier geben zwei bzw. eine Fakultät an, dass eine Umsetzung erst nach einem längeren Prozess möglich ist (siehe Tabelle 4 ).PrioritätensetzungDie in der Fokusgruppe erstellte Liste von Arbeitszielen, welche als Grundlage für die Erarbeitung von Unterstützungsmöglichkeiten durch das Kompetenznetz Lehre und insbesondere das Kompetenzzentrum „Prüfungen in der Medizin“ dienen soll, umfasste für jede der fünf beteiligten Fakultäten jeweils 4 bis 7 Punkte. In Tabelle 5 sind die Häufigkeiten der Nennungen aufgeführt. Der Punkt „Reviewverfahren“ wird von allen Fakultäten als vorrangiges Ziel zur Umsetzung eingestuft. Weiter wurden „Weiterbildung/Schulung der Prüfungsverantwortlichen“ von vier und „Gesamtprüfungsprogramm“ sowie „Prüfungsbericht“ je dreimal genannt. Es wurde ein Konsens darüber erzielt, dass diese vier Bereiche die Schwerpunkte bei der Unterstützung der Fakultäten für ihre Prüfungen bilden sollen. DiskussionDie dargestellten Ergebnisse zeigen, welche Anforderungen der „Leitlinie für Fakultäts-interne Leistungsnachweise“ an qualitativ hochwertige Prüfungen an den medizinischen Fakultäten Baden-Württemberg bereits als erfüllt angesehen werden können. Außerdem wird aufgezeigt, mit welcher Zeitperspektive die Fakultäten die weitere Umsetzung als erreichbar ansehen.Bei der Interpretation der Ergebnisse ist zu beachten, dass die Einhaltung der Qualitätskriterien für Prüfungen sehr stark von den Prüfungsverantwortlichen der jeweiligen Fächer abhängig ist und innerhalb derselben Fakultät oft erhebliche Unterschiede bestehen. Eine Reihe von Anforderungen der Leitlinie bezieht sich auf fakultätsweite Merkmale (z. B. das Vorhandensein eines Gesamtprüfungsplans), andere sind wiederum fachspezifisch. Weiterhin ist anzumerken, dass diese Umfrage – wie auch die des Medizinischen Fakultätentags und des Kompetenzzentrums in Bayern – nur einen zeitlichen Querschnitt abbildet, so dass erwartet werden muss, dass sich in einigen Punkten die Fakultäten bereits weiter entwickelt haben.Die Daten der Erhebung beruhen auf den Angaben der Studiendekanate, der an allen Fakultäten vor Ort befindlichen Mitarbeitern der verschiedenen Kompetenzzentren sowie von Prüfungsverantwortlichen an den Fakultäten. Diese Angaben stellen eine Aktualisierung der Vor-Ort-Erhebung aus dem Jahr 2006 dar, insofern sind sie zwar hinsichtlich ihrer Validität einer erneuten direkten Befragung der Prüfungsverantwortlichen der einzelnen Fächer nicht vollständig gleichzusetzen, dennoch wird durch die Beteiligung jeweils mehrerer Personen einer Fakultät, die für das Prüfungsgeschehen hauptamtlich verantwortlich sind, eine hohe Zuverlässigkeit der Daten gewährleistet. An allen befragten Fakultäten gibt es Fachbereiche, die einen Großteil der Forderungen der Leitlinie erfüllen und einige, die erhebliche Defizite aufweisen. Dies stimmt mit den Erkenntnissen aus den Studien des Medizinischen Fakultätentags wie auch der Umfrage an den bayerischen medizinischen Fakultäten überein.Abgesehen vom Vorhandensein eines Gesamtprüfungsplans, der Verwendung adäquater Prüfungsformate (hier stehen die Schwierigkeiten bei der Etablierung der zeit- und personalintensiven praktischen Prüfungsformen im Vordergrund) sowie der Qualifizierung der Prüfungsverantwortlichen sind die strukturellen Vorbedingungen zur Durchführung qualitativ hochwertiger Prüfungen über weite Strecken in allen Fakultäten gegeben. Bei der Prüfungskonzeption sind vor allem die noch vorhandenen Defizite bei der Aufgabenbegutachtung vor der Prüfung („Pre-Review“) auffällig. Auch wenn Konsens darüber besteht, dass nur so eine Verminderung der Zahl „schlechter“ Aufgaben zu erreichen ist, gehen einige Fakultäten davon aus, dass ein strukturiertes Pre-Review in der von der Leitlinie geforderten Form nur mit erheblichem Aufwand zu etablieren ist. Ebenfalls skeptisch äußern sich mehrere Fakultäten zu einer kurzfristigen differenzierten Ergebnisdokumentation und zur Erreichbarkeit einer ausreichenden Messzuverlässigkeit. Organisatorisch ist bei der Prüfungsvorbereitung die Verfügbarkeit von ausreichend geschultem Personal für die Durchführung und Bewertung der Prüfungen das vordringliche Problem. Einige formale Anforderungen zur Prüfungsdurchführung werden als nur langfristig umsetzbar eingeschätzt.Im Vergleich zur Umfrage des Medizinischen Fakultätentages ist ein deutlicher Fortschritt bei der Auswertung der Prüfungsergebnisse festzustellen. Zu Beginn der vorliegenden Umfrage wurden statistische Auswertungen und Prüfungsberichte im Allgemeinen noch nicht erstellt, die Beschaffung der hierzu erforderlichen Soft- und Hardware befand sich jedoch in Vorbereitung. Mittlerweile verfügt jede Fakultät über die entsprechende Infrastruktur (Belegleser, Programme), s. hierzu den Abschnitt über die ersten Arbeitsschritte im Kompetenznetz weiter unten.Wie das „Pre-Review“ stellt die strukturierte Prüfungsnachbereitung noch ein Problem dar. Ein geordneter Post-Review-Prozess und die Feedbackschleife der Prüfungsergebnisse zu den Lehrbeauftragten, Aufgabenerstellern und Curriculumsentwicklern werden von zwei bzw. einer der befragten Fakultäten nur als „langfristig implementierbar“ eingestuft.Trotz der erwähnten Defizite kann im Vergleich zum Stand von vor zwei Jahren eine insgesamt ausgesprochen positive Entwicklung festgestellt werden. Viele Anforderungen der Leitlinie können als bereits umgesetzt gelten. Weiterhin ist die Tatsache, dass Prüfungen qualitative Mindeststandards zu erfüllen haben, mittlerweile an allen Fakultäten erkannt und es werden erhebliche Anstrengungen unternommen, um die formale und inhaltliche Qualität der fakultären Leistungsnachweise zu verbessern.Wesentlich beigetragen zu diesen Verbesserungen haben die Kompetenzzentren in Baden-Württemberg mit ihren Schulungs- und Beratungsangeboten zu den Themen Lehre und Prüfungen. Durch ihre Verortung an den verschiedenen Fakultäten sind sie als Ansprechpartner überall persönlich erreichbar und unterstützen die Bildung von „Netzwerken“ von Prüfungsverantwortlichen und -erstellern.Die Prioritätensetzung in der Fokusgruppe für die zukünftigen Aufgaben stellt ein Beispiel für die erfolgreiche Arbeit des Kompetenznetzes Lehre dar: Bei den verschiedenen Treffen erfolgte eine Abstimmung über die Interpretation der Kriterien der Leitlinie. Durch den kontinuierlichen Kontakt zu den Fächern der eigenen Fakultät konnte zudem der Status der Umsetzung während des Arbeitsprozesses stets aktuell gehalten werden. Besonders hervorzuheben ist, dass hier in Zusammenarbeit mit den Studiendekanaten aller baden-württembergischen medizinischen Fakultäten Schwerpunkte für die Verbesserung von Prüfungen festgelegt werden konnten, die sowohl deren Relevanz wie auch ihre praktische Realisierbarkeit berücksichtigen. Für die als vorrangig erachteten Punkte „Reviewverfahren“ und „Prüfungsberichte“ wurden bereits als erste Arbeitsschritte Verbesserungen und Erweiterungen des Datenbankmanagementsystems IMS , welches mit einer Ausnahme an den baden-württembergischen Fakultäten verwendet wird, vorgenommen. Dies dient dazu, den fakultätsübergreifenden Begutachtungsprozess von Prüfungsaufgaben, logistisch zu unterstützen. Insbesondere ist durch die Aufnahme von OSCE-Stationen in das System eine Erweiterung in Richtung praktischer Prüfungen für Mitte des Jahres 2010 geplant.Die „Weiterbildung/Qualifikation von Prüfungsverantwortlichen“ wird durch eine Verbesserung und Koordinierung der Qualifikationsmaßnahmen im Bereich der Lehre durch die Kompetenzzentren unterstützt und für den Punkt „Gesamtprüfungsprogramm“ ist zur Hilfestellung für die Fakultäten eine intensive Beteiligung an der Entwicklung des Nationalen Kompetenzbasierten Lernzielkatalogs Medizin (NKLM) für Deutschland vorgesehen .Von erheblichem Interesse wäre eine Fortsetzung der Studie an allen bundesdeutschen medizinischen Fakultäten, um die Entwicklung der Qualität der universitären Prüfungen längerfristig zu beobachten. Dabei sollte zusätzlich zu den hier erhobenen Aspekten die in der bayerischen Arbeit untersuchte Umsetzungsbreite (Maß der Umsetzung bei den einzelnen Fächern) erfasst werden. DanksagungWir danken allen Mitarbeitern der Studiendekanate und der Kompetenzzentren des Kompetenznetzes Lehre Baden-Württemberg sowie den Studiendekanen Prof. F. Resch, Prof. R. Korinthenberg, Prof. S. Zipfel, Prof. J. Fegert und Prof. H. Klüter für ihre konstruktive Mitarbeit bei der Ergebnisdiskussion und der Fokusgruppe. Bundesministerium für Gesundheit Approbationsordnung für Ärzte vom 27. Juni 2002 2002 Bundesgesetzbl 2405-2435 Bundesministerium für Gesundheit. Approbationsordnung für Ärzte vom 27. Juni 2002. Bundesgesetzbl. 2002;1(44):2405-2435. Fischer MR Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg 2008 GMS Z Med Ausbild Doc74 Fischer MR. Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg. GMS Z Med Ausbild. 2008;25(1):Doc74. Zugänglich unter: http://www.egms.de/static/en/journals/zma/2008-25/zma000558.shtml http://www.egms.de/static/en/journals/zma/2008-25/zma000558.shtml Möltner A Duelli R Resch F Schultz JH Jünger J Fakultätsinterne Prüfungen an den deutschen medizinischen Fakultäten 2010 GMS Z Med Ausbild Doc44 Möltner A, Duelli R, Resch F, Schultz JH, Jünger J. Fakultätsinterne Prüfungen an den deutschen medizinischen Fakultäten. GMS Z Med Ausbild. 2010;27(3):Doc44. Zugänglich unter: http://www.egms.de/static/en/journals/zma/2010-27/zma000681.shtml http://www.egms.de/static/en/journals/zma/2010-27/zma000681.shtml Reindl M Holzer M Fischer MR Durchführung der Prüfungen nach den Leitlinien des GMA-Ausschusses Prüfungen: Eine Bestandsaufnahme aus Bayern 2010 GMS Z Med Ausbild Doc56 Reindl M, Holzer M, Fischer MR. Durchführung der Prüfungen nach den Leitlinien des GMA-Ausschusses Prüfungen: Eine Bestandsaufnahme aus Bayern. GMS Z Med Ausbild. 2010;27(4):Doc56. Zugänglich unter: http://www.egms.de/static/en/journals/zma/2010-27/zma000693.shtml http://www.egms.de/static/en/journals/zma/2010-27/zma000693.shtml Resch F 2008 Universitäre Prüfungen im Licht der neuen ÄAppO 159–165 Resch F. Universitäre Prüfungen im Licht der neuen ÄAppO. Berlin: Medizinischer Fakultätentag MFT: 2008. S.159–165. Fegert JM Obertacke U Resch F Hilzenbecher M Die Qualität der Lehre nicht dem Zufall überlassen 2009 Dtsch Arztebl 290–291 Fegert JM, Obertacke U, Resch F, Hilzenbecher M. Die Qualität der Lehre nicht dem Zufall überlassen. Dtsch Arztebl. 2009;106(7):290–291. Möltner A Schultz JH Briem S Jünger J 2007 Fakultätsinterne Prüfungen nach der neuen AO Möltner A, Schultz JH, Briem S, Jünger J. Fakultätsinterne Prüfungen nach der neuen AO. Statusbericht der medizinischen Fakultät der Universität Freiburg (unveröfftl.). Freiburg: Universität Freiburg; 2007. Möltner A Schultz JH Briem S Jünger J 2007 Fakultätsinterne Prüfungen nach der neuen AO Möltner A, Schultz JH, Briem S, Jünger J. Fakultätsinterne Prüfungen nach der neuen AO. Statusbericht der medizinischen Fakultät der Universität Heidelberg (unveröfftl.). Heidelberg: Universität Heidelberg; 2007. Möltner A Schultz JH Briem S Jünger J 2007 Fakultätsinterne Prüfungen nach der neuen AO Möltner A, Schultz JH, Briem S, Jünger J. Fakultätsinterne Prüfungen nach der neuen AO. Statusbericht der medizinischen Fakultät Mannheim der Universität Heidelberg (unveröfftl.). Mannheim: Med. Fakultät Mannheim der Universität Heidelberg; 2007. Möltner A Schultz JH Briem S Jünger J 2007 Fakultätsinterne Prüfungen nach der neuen AO Möltner A, Schultz JH, Briem S, Jünger J. Fakultätsinterne Prüfungen nach der neuen AO. Statusbericht der medizinischen Fakultät der Universität Ulm (unveröfftl.). Ulm: Universität Ulm; 2007. Brass K Hochlehnert A Jünger J Fischer M Holzer M Studiumbegleitende Prüfungen mit einem System: ItemManagementSystem für die Medizin 2008 GMS Z Med Ausbild Doc37 Brass K, Hochlehnert A, Jünger J, Fischer M, Holzer M. Studiumbegleitende Prüfungen mit einem System: ItemManagementSystem für die Medizin. GMS Z Med Ausbild. 2008;25(1):Doc37. Zugänglich unter: http://www.egms.de/static/en/journals/zma/2008-25/zma000521.shtml http://www.egms.de/static/en/journals/zma/2008-25/zma000521.shtml Hahn EG Fischer MR Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) für Deutschland: Zusammenarbeit der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT) GMS Z Med Ausbild 2009 Hahn EG, Fischer MR Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) für Deutschland: Zusammenarbeit der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT) . GMS Z Med Ausbild. 2009;26(3):Doc35. Zugänglich unter: http://www.egms.de/static/en/journals/zma/2009-26/zma000627.shtml http://www.egms.de/static/en/journals/zma/2009-26/zma000627.shtml 11

Tabelle 1: Umsetzung der Kriterien "Strukturelle Vorbedingungen"

22

Tabelle 2: Umsetzung der Kriterien "Prüfungskonzeption und -bewertung"

33

Tabelle 3: Umsetzung der Kriterien "Organisatorische Vorbereitung" und "Durchführung"

44

Tabelle 4: Umsetzung der Kriterien "Auswertung", "Rückmeldung" und "Nachbereitung"

55

Tabelle 5: Nennung der primär zu bearbeitenden Arbeitsziele

5 0 0 0