Assessing family medicine trainees – what can we learn from the European neighbours?

zma000963 10.3205/zma000963 urn:nbn:de:0183-zma0009638 article Artikel Assessing family medicine trainees – what can we learn from the European neighbours? Facharztprüfung Allgemeinmedizin – was können wir von den europäischen Nachbarn lernen? Flum Flum Elisabeth E Dr. med.

University Hospital Heidelberg, Department of General Practice and Health Services Research, Voßstraße 2, D-69115 Heidelberg, GermanyUniversity Hospital Heidelberg, Department of General Practice and Health Services Research, Heidelberg, Germany

Universitätsklinikum Heidelberg, Abteilung Allgemeinmedizin und Versorgungsforschung, Voßstraße 2, 69115 Heidelberg, DeutschlandUniversitätsklinikum Heidelberg, Abteilung Allgemeinmedizin und Versorgungsforschung, Heidelberg, Deutschland

elisabeth.flum@med.uni-heidelberg.de author Maagaard Maagaard Roar R Prof. MD

University of Aarhus, Department of Medical Education, Aarhus, Denmark

Universität Aarhus, Department of Medical Education, Aarhus, Dänemark

roarmaag@post7.tele.dk author Godycki-Cwirko Godycki-Cwirko Maciek M MD, PhD, FPh, SPH

Medical University of Lodz, Centre for Family and Community Medicine, Lodz, Poland

Medical University of Lodz, Centre for Family and Community Medicine, Lodz, Polen

maciej.godycki-cwirko@umed.lodz.pl author Scarborough Scarborough Nigel N MA FRCGP FAcadMEd

Health Education East Midlands, Nottingham, The United Kingdom

Health Education East Midlands, Nottingham, Gross-Britannien

nigelscarborough@nhs.net author Scherpbier Scherpbier Nynke N MD, PhD

Radboud University Medical Centre, Department of Primary and Community Care, Nijmegen, The Netherlands

Radboud University Medical Centre, Department of Primary and Community Care, Nijmegen, Niederlande

nynke.scherpbier-dehaan@radboudumc.nl author Ledig Ledig Thomas T Dr. med.

University Hospital Heidelberg, Department of General Practice and Health Services Research, Heidelberg, Germany

Universitätsklinikum Heidelberg, Abteilung Allgemeinmedizin und Versorgungsforschung, Heidelberg, Deutschland

Thomas.Ledig@med.uni-heidelberg.de author Roos Roos Marco M Dr. med.

University of Erlangen-Nuremberg, Institute of General Practice, Erlangen, Germany

Universität Erlangen-Nürnberg, Allgemeinmedizinisches Institut, Erlangen, Deutschland

marco.roos@uk-erlangen.de author Steinhäuser Steinhäuser Jost J Prof. Dr. med.

University Hospital Heidelberg, Department of General Practice and Health Services Research, Heidelberg, Germany University Hospital Schleswig-Holstein, Institute of Family Medicine, Lübeck, Germany

Universitätsklinikum Heidelberg, Abteilung Allgemeinmedizin und Versorgungsforschung, Heidelberg, Deutschland Universitätsklinikum Schleswig-Holstein, Institut für Allgemeinmedizin, Lübeck, Deutschland

jost.steinhaeuser@uksh.de author German Medical Science GMS Publishing House

Düsseldorf

610 Primary health car training curriculum competency-based education assessment Hausarzt Primärarztversorgung Curriculum Kompetenzbasierte Weiterbildung Prüfung(-smethoden) family medicine Familienmedizin 20140822 20141121 20150212 20150513 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 1860-3572 32 2 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 21 Hintergrund: In der Europäischen Union sind die Anforderungen seitens der Patienten an die hausärztliche Tätigkeit zu einem hohen Anteil vergleichbar, es gibt jedoch keine einheitlichen Standards für Prüfungen während der Facharzt (FA)-Weiterbildung Allgemeinmedizin (AM) oder bei der Facharztprüfung. Ziel dieser Pilotstudie war es, die verschiedenen Bedingungen und Prüfungsmethoden während der FA-Weiterbildung AM in fünf Europäischen Ländern zu vergleichen.Methode: In fünf Europäischen Ländern (Dänemark, Deutschland, Polen, Niederlande, Groß-Britannien) wurde eine semistrukturierte Befragung in einer Expertenrunde durchgeführt. Die Teilnehmer wurden über verschiedene Aspekte der allgemeinmedizinischen Weiterbildung und Prüfungsmethoden in den jeweiligen Ländern befragt. Falls verfügbar, wurden diese Daten durch Informationen von offiziellen Websites der jeweiligen Länder ergänzt.Ergebnisse: Die Weiterbildung zum FA für AM wird sehr unterschiedlich in den untersuchten Ländern durchgeführt. Die Weiterbildungszeit reicht von drei bis zu fünf Jahren, in manchen Ländern ist vorab ein Fundierungsprogramm von bis zu zwei Jahre verpflichtend. Die meisten Länder erfassen Leistungen longitudinal während der gesamten Weiterbildung, wobei sowohl kompetenzbasierte Ansätze als auch formative und summative Prüfungsmethoden kombiniert werden. Für einige der verwendeten Prüfungsformate ist Evidenz verfügbar. Allerdings unterscheiden sich die Prüfungsmethoden und deren Kosten deutlich zwischen den befragten Ländern.Schlussfolgerung: Longitudinale und kompetenzbasierte Prüfungsansätze werden aktuell in der FA-Weiterbildung AM favorisiert. Länder, die weniger facettenreiche Prüfungsmethoden einsetzen, könnten dabei vom Beispiel anderer Länder lernen. Dabei müssen bei möglichen Veränderungen allerdings die teilweise erheblichen Kostensteigerungen berücksichtigt werden. Background: Although demands on family physicians (FP) are to a large extent similar in the European Union, uniform assessment standards for family medicine (FM) specialty training and assessment do not exist. Aim of this pilot study was to elicit and compare the different modalities and assessment methods of FM specialty training in five European countries.Methods: A semi structured survey was undertaken based on a convenient sample in five European countries (Denmark, Germany, Poland, the Netherlands and the United Kingdom). The respondents were asked to respond to ten items about aspects of FM specialty training and assessment methods in their respective countries. If available, this data was completed with information from official websites of the countries involved.Results: FM specialty training is performed heterogeneously in the surveyed countries. Training time periods range from three to five years, in some countries requiring a foundation program of up to two years. Most countries perform longitudinal assessment during FM specialty training using a combination of competence-based approach with additional formative and summative assessment. There is some evidence on the assessments methods used, however the assessment method used and costs of assessment differs remarkably between the participating countries.Conclusions: Longitudinal and competence-based assessment is the presently preferred approach for FM specialty training. Countries which use less multifaceted methods for assessment could learn from best practice. Potential changes have significant cost implications. BackgroundThe family physician (FP) is the first medical contact for prevention, acute or chronic diseases and provides longitudinal continuity of comprehensive care in almost all European health care systems . In a changing European Union (EU) with its growing population mobility and doctor migration, continuous health care adaptions are inevitable , . Facing these social and economic changes, the European countries have the opportunity to learn from each other . The European Academy of Teachers in General Practice and Family Medicine developed the European Educational Agenda for family medicine (FM) in 2005, defining core characteristics of the discipline and essential competences . This agenda was intended to be incorporated into the national curricula for FM specialty training according to the needs of the particular health care system. Unfortunately, this was not achieved homogenously throughout Europe as several countries are using a different framework model for competency based training . Within the last decades competence-based training has been regarded as an important development within medical education. Compared to traditional education programs, competence-based training aims to be outcome-orientated, analyzing functional occupational roles and assessment of the trainees’ progress. In principle, the competence-based approach could be more flexible, transparent and standardized , . The competence-based approach in medical training has already been implemented in European countries such as the Netherlands (NL) and the United Kingdom (UK). Other countries such as Germany (DE) are currently introducing a competency approach for future FM specialty training .So far, there are no studies which examine and compare international ways of qualification and assessment for family medicine.The aim of this study was to carry out a pilot study aiming to raise different modalities and assessment methods of FM specialty training in five European countries. HintergrundIn fast allen Europäischen Gesundheitssystemen ist der Hausarzt der erste medizinische Ansprechpartner für alle Beratungsanlässe von der Prävention über akute oder chronische Erkrankungen. Er bietet einen longitudinalen, kontinuierlichen und ganzheitlichen Versorgungsansatz . In einer sich in Hinblick auf zunehmende Patienten- und Arztmobilität verändernden Europäischen Union (EU) sind Anpassungen des Gesundheitssystems erforderlich , . Um diesen sozialen und ökonomischen Veränderungen zu begegnen, haben Europäische Länder die Möglichkeit voneinander zu lernen . Die Europäische Akademie für Hochschullehrerinnen in Allgemeinmedizin und Familienmedizin (EURACT) entwickelte 2005 eine Agenda für die Facharzt (FA)-Weiterbildung Allgemeinmedizin (AM) für Europa und definierte damit zentrale Charakteristika und Kernkompetenzen der FA-Disziplin AM . Diese sollte in die nationalen Weiterbildungscurricula für AM der integriert und an die Bedürfnisse des jeweiligen Gesundheitssystems adaptiert werden. Allerdings wurde dieses Ziel nicht flächendeckend für Europa erreicht da einige Länder andere Rahmenmodelle für kompetenzbasierte Weiterbildung verwenden . In den letzten Jahrzenten wurde der kompetenzbasierte Ansatz zunehmend als bedeutende Entwicklung der ärztlichen Weiterbildung angesehen. Im Vergleich zu traditionellen Weiterbildungsformen, zielt der kompetenzbasierte Ansatz darauf ab, sich am Ergebnis und den später zu erfüllenden Rollen zu orientieren und den diesbezüglichen Lernfortschritt des Arztes in Weiterbildung (AIW) zu erfassen. Kompetenzbasierte Weiterbildung soll dabei mehr Flexibilität, Transparenz und Standardisierung ermöglichen , . Der kompetenzbasierte Ansatz in der FA-Weiterbildung ist bereits in den Niederlanden (NL) und in Groß-Britannien (UK) umgesetzt. Andere Länder wie Deutschland (DE) planen zukünftig, einen kompetenzbasierten Ansatz einzuführen .Bisher gibt es keine Studien, die international die FA-Weiterbildung AM und unterschiedliche dabei eingesetzte Prüfungsmethoden untersuchen.Ziel dieser Pilotstudie war es, die verschieden Formen der FA-Weiterbildung AM und die dazugehörigen Prüfungsmethoden in fünf Europäischen Ländern zu beschreiben. MethodsQuestionnaireA study group in Heidelberg consisting of three FPs and one FP trainee developed a 10 item semi structured questionnaire addressing aspects of postgraduate training and qualification for FPs. Within these 10 items, prerequisites for admission of examinees to assessment, qualifications of the examiners, evidence for assessment methods and costs of these methods were investigated. The questions were all open-ended and in English. Table 1 shows the questionnaire used. Following the professional code of conduct of State Medical Chamber of Baden-Württemberg, for this survey no approval by an institutional research review board was needed [http://www.aerztekammer-bw.de/10aerzte/40merkblaetter/20recht/05kammerrecht/bo.pdf cited 2014 August 12].Recruitment: The pilot survey was conducted in five European countries based on a convenient sample linked to postgraduate training programs in Denmark (DK), Germany (DE), Poland (PL), the NL and the UK. Target participants for this study were identified due to relationships established via an European implementation research network named “Tailored implementation for chronic diseases” (TICD) [http://www.ticd.umed.lodz.pl/index.php/homepage cited 2014 August 12]. Four researcher of the TICD project were asked to suggest a person in their country who is a well-established experts in the field of FM specialist training. To also include the representation of the European Academy of Teachers in General Practice / Family Medicine (EURACT) a council member of EURACT was additionally asked to participated in the study. Five persons participate in the pilot study, all were FPs and actively involved in FM training and assessment in their respective country. All correspondence was done by email.Data analysisData from the questionnaire was analyzed by two researchers from the study group in Heidelberg independently from one another. This extracted data was collated, categorized and then summarized and discussed resulting in a consensus version of results. This version was again double checked by the surveyed participants and the study group. If applicable, information like costs of assessment was expanded from official websites of the participant countries to ensure that the information given was generalizable [http://www.dsam.dk/ cited 2014 August 12], [http://www.sst.dk/ cited 2014 August 12], [http://www.bundesaerztekammer.de/page.asp?his=1.128.129 cited 2014 August 12], [http://www.klrwp.pl/specjalizacja.php cited 2014 August 12], [http://www.leonardo.org.pl/ cited 2014 August 12], [http://www.huisartsopleiding.nl/content.asp?kid=10000962&fid=-1&bid=10118723 cited 2014 August 12], [http://www.rcgp.org.uk/ cited 2014 August 12]. Special emphasis was set on assessment methods and organization of FM specialty training. The enhanced version of results was then revised by each member of the study group in Heidelberg to ensure correct reproduction of data, resulting in a final version, which provided a descriptive overview of FM specialty training and assessment methods in the different countries. All indicated amounts of money were converted into US dollars (US$) according to currency exchange rates on 30.01.2014. MethodenFragebogenEin semistrukturierter Fragebogen mit 10 Fragen wurde von einer Arbeitsgruppe, bestehend aus drei Hausärzten und einem AIW, in Heidelberg entwickelt. Die Fragen bezogen sich auf die Weiterbildung und Prüfungsmethodik auf dem Weg zum FA für AM. So wurde Aspekte wie Voraussetzungen für die Zulassung zur Prüfung, Qualifikation der Prüfer, Evidenz der Prüfungsmethoden und deren Kosten adressiert. Alle Fragen wurden offen und auf Englisch gestellt. Tabelle 1 zeigt den verwendeten Fragebogen. Nach der Berufsordnung der Landesärztekammer Baden-Württemberg war für diese Befragung kein Ethikvotum nötig [http://www.aerztekammer-bw.de/10aerzte/40merkblaetter/20recht/05kammerrecht/bo.pdf zuletzt geprüft am 12.08.2014].Rekrutierung: Die Pilotstudie wurde in fünf Europäischen Ländern durchgeführt. Dafür wurden Personen, die intensiv mit der FA-Weiterbildung AM in Dänemark (DK), Deutschland (DE), Polen (PL), den Niederlanden (NL) und Groß-Britannien (UK) involviert sind kontaktiert. Die Teilnehmer an dieser Studie wurden über ein Europäisches Forschungsnetz für Implementierung (Tailored implementation for chronic diseases, TICD) identifiziert [http://www.ticd.umed.lodz.pl/index.php/homepage zuletzt geprüft am 12.08.2015]. Vier Forscher des TICD-Projektes wurden angesprochen, in ihrem jeweiligen Land einen ausgewiesenen Experten in der FA-Weiterbildung für AM zu benennen. Um darüber hinaus auch die Europäische Perspektive zur FA-Weiterbildung AM abzubilden, wurde zusätzlich ein Mitglied von EURACT angefragt, an der Pilotstudie teilzunehmen. Somit nahmen insgesamt fünf Personen an der Pilotstudie teil, alle waren Hausärzte und aktiv in die FA-Weiterbildung AM und deren Prüfungsmethoden in dem jeweiligen Land eingebunden. Die gesamte Korrespondenz erfolgte per Email.Analyse der DatenDie über den Fragebogen erhobenen Daten wurde von zwei Wissenschaftlern der Heidelberger Arbeitsgruppe unabhängig voneinander analysiert. Die Daten wurden kategorisiert, zusammengefasst und anschließend von den Wissenschaftlern diskutiert, so dass seine finale konsentierte Version resultierte. Diese Version wurde erneut von den befragten Teilnehmern und der Heidelberger Arbeitsgruppe überprüft. Falls verfügbar, wurden zusätzliche Informationen, wie z.B. Prüfungskosten von offiziellen Websites der jeweiligen Länder hinzugefügt [http://www.dsam.dk/ zuletzt geprüft am 12.08.2015], [http://www.sst.dk/ zuletzt geprüft am 12.08.2015], [http://www.bundesaerztekammer.de/page.asp?his=1.128.129 zuletzt geprüft am 12.08.2015], [http://www.klrwp.pl/specjalizacja.php zuletzt geprüft am 12.08.2015], http://www.leonardo.org.pl/ zuletzt geprüft am 12.08.2015], [http://www.huisartsopleiding.nl/content.asp?kid=10000962&fid=-1&bid=10118723 zuletzt geprüft am 12.08.2015], [http://www.rcgp.org.uk/ zuletzt geprüft am 12.08.2015]. Besonderer Augenmerk wurde auf die eingesetzten Prüfungsmethoden und die Organisation der FA-Weiterbildung AM gelegt. Die Ergebnisse wurde erneut von allen Mitgliedern der Arbeitsgruppe in Heidelberg geprüft, um eine korrekte Widergabe der Daten sicherzustellen. Es resultiere daraus eine finale Version, die eine deskriptive vergleichende Beschreibung der FA-Weiterbildung AM und deren Prüfungsmethoden in den verschiedenen Ländern beinhaltete. Alle angegebenen Kosten wurden in US-Dollar (US$) nach dem Wechselkurs vom 30.01.2014 umgerechnet. ResultsAll five experts in the field of FM specialist training agreed to participate. The duration of FM specialty training in the participating countries ranges from three to five years. All FM specialty trainings include hospital and practice training in approved training posts. In DK and the UK, a foundation program - a compulsory medical training part in between graduation and start of FM specialty training - is mandatory.As the FM training is highly favored in the UK and in the NL, a national selection process before training was implemented in the UK and soon will be in the NL.The contents of FM specialty training are defined by FP specialist representatives at national level in all surveyed counties but DE, where all medical specialties not only FPs determine the details.In all participant countries, the assessment is carried out and results are accepted nationwide. All countries had a longitudinal assessment continuously during the whole duration of FM specialty training except DE, which has one final 30 minute-theory oral exam at the end of scheme. Topics examined are not particularly specified or standardized and depend therefore on the examiners. DK [http://www.dsam.dk/flx/english/hippokrates/denmark/ cited 2014 November 20] and the NL perform a competency-based longitudinal assessment of trainees combined with formal exams as Multiple Choice Questions (MCQ) and assessment of communication skills in the NL. The UK has an elaborate assessment method, it consists of three parts: Applied Knowledge Tests (AKT), Clinical Skills Assessments (CSA) and Workplace Based Assessments (WPBA, assessment of performance in everyday clinical practice to integrate clinical knowledge and skills), which is continuously carried out through specialty training. These three parts combine multiple assessment methods as computer based MCQ exams and the use of electronic devices in testing, as well as assessment of competencies and procedural skills in different settings as live observation and video consultation with “real” or simulated patients. Special emphasize is set on feedback from colleagues and the patients’ perspective. Trainees have to keep a detailed e-portfolio, which includes a learning log, a personal development plan, regular self-ratings and educator reviews. In the NL and the UK there is robust evidence for the reliability and validity of the different assessment methods, whereas there is less evidence for the assessment methods used in DE, DK and PL , , , , , , , [http://www.rcgp.org.uk cited 2014 August 12]. The process of qualification of examiners differs also from only formal qualifications of examiners in DE, to facultative trainers’ courses in PL and mandatory trainers’ courses in DK, the NL and the UK.While in DK and the NL no detailed information about costs of assessments are available, trainees in DE are charged up to US$ 341 for the final exam in total. In the UK, trainees have to pay separate fees for mandatory registration with the RCGP (US$ 2.036), AKT (US$ 835) and CSA (US$ 2.807). Reimbursement of examiners varies from US$ 102 in PL and US$ 205 in DE up to US$ 651 in the UK.For details see table 2 and table 3 . ErgebnisseAlle fünf Experten auf dem Gebiet FA-Weiterbildung AM stimmten einer Teilnahme an der Pilotstudie zu. Die Dauer der FA-Weiterbildung AM in den teilnehmenden Ländern reichte von drei bis fünf Jahren. Alle Programme schlossen sowohl stationäre als auch ambulante Weiterbildungsabschnitte in anerkannten Weiterbildungsstätten mit ein. In DK und UK ist ein sogenanntes Fundierungsprogramm nach Abschluss des Studiums und vor Beginn der FA-Weiterbildung AM verpflichtend.Da in UK und NL die FA-Weiterbildung AM sehr beliebt ist, existiert ein nationales Auswahlverfahren vor der Weiterbildung in UK, in NL ist dies in Planung.Die Inhalte der FA-Weiterbildung AM werden in allen Ländern außer DE auf nationaler Ebene von Hausärzten festgelegt. In DE hingegen werden die Inhalte der FA-Weiterbildung AM von allen medizinischen Fachrichtungen und nicht ausschließlich von Hausärzten festgelegt.In allen befragten Ländern werden die Prüfungen landesweit durchgeführt und anerkannt. Alle Länder bis auf DE führen eine longitudinale Überprüfung der Leistungen über die gesamte Dauer der Weiterbildung durch. In DE erfolgt ausschließlich eine 30-minütige theoretische mündliche Prüfung am Ende der Weiterbildungszeit. Die geprüften Inhalte in DE sind dabei nicht spezifisch definiert oder standardisiert und hängen daher von den jeweiligen Prüfern ab. DK [http://www.dsam.dk/flx/english/hippokrates/denmark/ zuletzt geprüft am 20.11.2014] und NL führen eine kompetenzbasierte longitudinale Leistungserfassung durch, kombiniert mit formalen Prüfungen wie Multiple-Choice-Fragen (MCQ) und Testung der Kommunikationsfähigkeiten in NL. UK verfügt über sehr ausgefeilte Prüfungsmethoden, die aus drei Teilen bestehen: Angewandter Wissenstest (Applied Knowledge Tests, AKT), Überprüfung der klinischen Fähigkeiten (Clinical Skills Assessments, CSA) und Überprüfung der Leistungen unmittelbar am Arbeitsplatz als Integral von klinischem Wissen und Fähigkeiten (Workplace Based Assessments, WPBA), welches kontinuierlich während der Weiterbildung durchgeführt wird. Diese drei Teile umfassen verschiedene Prüfungsformen wie computerbasierte MC-Fragen, die Verwendung von elektronischen Medien sowie Erfassung der Kompetenzen und praktischen Fertigkeiten in direkter Beobachtung oder per Video aufgezeichneten Konsultationen mit „echten“ oder Schauspiel-Patienten. Besonderes Augenmerk wird dabei auf das Feedback durch die Kollegen und die Patienten gelegt. Jeder AIW muss ein detailliertes elektronisches Portfolio führen, welches einen Lernplan, seine persönlichen Lern-Ziele sowie regelmäßige Selbst- und Fremdeinschätzungen durch die Weiterbilder enthält.In NL und UK gibt es hinreichende Evidenz für die Reliabilität und Validität der verschiedenen Prüfungsmethoden, wohingegen in DE, DK und PL nur sehr wenig Evidenz verfügbar ist , , , , , , [http://www.rcgp.org.uk zuletzt geprüft am 12.08.2014]. Die Qualifikationsvoraussetzungen der Prüfer sind ebenfalls sehr unterschiedlich und reichen von ausschließlich formalen Kriterien in DE über fakultative Prüferkurse in PL zu obligaten in DK, NL und UK.In DK und NL sind keine Informationen über die Kosten der Prüfungsformate verfügbar. In DE werden Prüfungskandidaten bis zu US$ 341 für die Prüfung in Rechnung gestellt. In UK entrichten Prüfungskandidaten für die obligate Registrierung bei RCGP US$ 2.036, sowie separat für AKT US$ 835 und CSA US$ 2.807. Die Vergütung der Prüfer reicht von US$ 102 in PL, US$ 205 in DE bis hin zu US$ 651 in UK. Detaillierte Informationen geben Tabelle 2 und Tabelle 3 . DiscussionThis pilot study gives an overview of specialty training and different qualification assessment methods for FM in five European countries. Assessment methods differ remarkably in all surveyed countries. All countries but DE perform longitudinal assessment during FM specialty training using a combination of a competence-based approach with additional formative (formal and informal assessment methods during the whole period of training learning, “assessment for learning”) and summative assessment (formal assessment of outcome, summarization learning progress at a particular time, “assessment of learning”). DK and the NL assess all required competencies longitudinally in an ongoing process during the whole training, including in the NL communication skills. The process of qualification for FM in the UK is highly structured. In contrast, DE uses no longitudinal assessment and only one final theoretical oral assessment at the end of specialty training.Evidence published to date validates the knowledge test, the communication skills test and the competency assessment list, “Compass” in the NL , , , , and assessment methods in the UK , , [[http://www.rcgp.org.uk cited 2014 August 12]. Otherwise, many FM assessment methods have been reported in scattered surveys, although final conclusions or recommendations are yet to emerge .As outlined previously, population mobility and physician migration in the EU presents new challenges for health care. For quality and patient safety reasons, competence profiles and future assessment methods in the EU might preferably be standardized , . If this were to be the case, competencies requirements could still differ between countries and individuals, but an exchange of physicians and trainees between countries would be more effectively facilitated. In particular DE, performing the least multifaceted assessment of all surveyed countries, could follow the different European examples and implement a longitudinal assessment of competences and skills in FM specialty training. In DE there is evidence, that nearly every fourth of the FM-trainers do give informal feedback less than once per month to their trainees . It should be taken into consideration that critics claim that the competence-based approach neglects expertise and raises negative pressure on examiners and examinees . So far, little evidence exists that performance in the different assessment methods (MCQ, video or live observation, OSCE, etc.) correlates with clinical skills in real working conditions , , . Therefore, countries with rather elaborate specialty training may continuously reflect on their methods of assessment.There is evidence that assessment influences learning , , therefore assessment may be an instrument for the regulation of content of FM specialty training and should match population health needs as well as learning objectives and curriculum. To assess the individual level of professional competence, a multifaceted and complex assessment has to be performed . Preferably, the assessment should be an integrated part of the curriculum using a blend of methods .As shown in the results, structured and standardized assessment methods are considerably more costly than less multifaceted approaches, differing up to more than US$ 3.000 per examinee. Therefore, in each European country, available personal and financial resources have to be considered, too. It remains a subject for discussion how much FM specialty training may cost and to what extend examinees may be charged. However, FM trainers should receive professional recognition including adequate reimbursement.The strength of the study is that it is a first overview of different methods of specialty training and qualification assessment for FM in Europe. The pilot survey provides baseline data on an area that is likely to become more topical in the context of EU policy. A limitation of the study is the convenience sampling. However, it was in line with the aim of the study to gather and compare baseline information on the variability and diversity of FM specialty training and assessment methods within the participating countries. The questionnaire contained furthermore some closed-ended questions, which may have led to limited answers. In addition, the data collected in the sample was heterogeneous. This was somewhat challenging for summarizing in the results section. Moreover, through the “coding” process of summarizing answers to the open-ended questionnaire, some subjective bias may occur. To minimize this effect, all authors thoroughly reviewed the transcript manuscript. Finally, evidence-based information is not available for all questions in the questionnaire, which may lead to expert-based conclusions being drawn.Next work package will be to build a questionnaire with the results of this pilot-study to raise quantitative data about FM specialty assessment throughout Europe. DiskussionDiese Pilotstudie gibt einen Überblick über die FA-Weiterbildung AM und die verschieden eingesetzten Prüfungsmethoden in fünf Europäischen Ländern. Die Prüfungsformen unterscheiden sich erheblich zwischen den befragten Ländern. Alle Länder außer DE erfassen eine longitudinale Kompetenzentwicklung während der FA-Weiterbildung AM. Dabei werden kompetenzbasierte Ansätze kombiniert mit formativen (formelle und informelle Prüfungen währen der gesamten Weiterbildung, “Anreiz zum selbstgesteuerten Lernen”) und summativen Prüfungsmethoden (formelle Leistungserfassung des Lernfortschritts zu einem bestimmten Zeitpunkt, „Prüfung zum Nachweis eines Kenntnisstandes“). DK und NL erfassen alle geforderten Kompetenzen longitudinal während der gesamten Weiterbildung, inklusive Kommunikationsfähigkeiten in NL. Die Prüfungsmethoden in UK sind höchst komplex und strukturiert. Im Gegensatz dazu erfolgt in DE keine longitudinale Leistungserfassung, es findet lediglich eine einzige mündliche Prüfung am Ende der FA-Weiterbildung statt.Für die NL gibt es verfügbare Evidenz für die Bereiche Kognition, Kommunikationsfähigkeiten und der Kompetenzen (“Compass”) , , , , . Auch für die eingesetzten Prüfungsmethoden in UK gibt es Evidenz , [http://www.rcgp.org.uk]. Darüber hinaus gibt es vereinzelt Berichte zu den verschieden Prüfungsformaten, woraus sich eine abschließende Beurteilung oder Empfehlungen jedoch nicht ableiten lassen .Wie vorausgehend beschrieben, stellen Bevölkerungsmobilität und Arzt-Migration in der EU Herausforderungen an die Gesundheitssysteme der jeweiligen Länder dar. Um die Behandlungsqualität und Patientensicherheit sicherzustellen, wäre es hilfreich Kompetenzen und Prüfungsmethoden in der FA-Weiterbildung AM in der EU zu standardisieren , . Dabei könnten die Anforderungsprofile an Hausärzte durchaus zwischen den einzelnen Ländern differieren, ein Austausch der Fachärzte und AIW könnte jedoch erleichtert werden. Besonders DE, das das von allen befragten Ländern das am wenigsten ausgefeilte Prüfungssystem durchführt, könnte dem Vorbild der verschiedenen Europäischen Länder folgen und ein longitudinales System zur Erfassung von Kompetenzen und Fähigkeiten während der FA-Weiterbildung AM einführen. Für Deutschland gibt es Hinweise, dass fast ein Viertel aller Weiterbilder weniger als einmal pro Monat ihren AIW ein informelles Feedback geben . Es sollte jedoch auch berücksichtigt werden, dass Kritiker der kompetenzbasierten Weiterbildung anlasten, dass dabei Expertise vernachlässigt und negativer Druck auf Prüfer und Prüfungskandidaten ausgeübt würde . Bisher gibt es wenig wissenschaftliche Belege, dass die Ergebnisse der verschiedenen Prüfungsformate (MC-Fragen, Video- oder direkte Beobachtungen, OSCE, etc.) mit klinischen Fähigkeiten unter realen Arbeitsbedingungen korreliert , , . Daher sollten Länder mit einem sehr ausgefeilten Prüfungssystem regelmäßig ihre Methoden überdenken.Es gibt Evidenz, dass die Form der Prüfung das Lernen beeinflusst , . Die Prüfungsmethodik kann daher als ein Instrument zur Regulation der Inhalte der FA-Weiterbildung angesehen werden und sollte sowohl dem tatsächlichen Versorgungsbedarf der Bevölkerung sowie den Lernzielen und dem Curriculum gerecht werden. Um das individuelle Kompetenzniveau des AIW einzuschätzen, sollten verschiedene und komplexe Prüfungsformen eingesetzt werden . Vorzugsweise sollte dabei die Prüfung integraler Bestandteil des Curriculums sein und verschiedene Prüfungsmethoden kombinieren .Wie in den Ergebnissen dargestellt sind strukturierte und standardisierte Prüfungsmethoden deutlich kostenintensiver als weniger aufwendige Prüfungsformen. Die Kosten differieren dabei um mehr als US$ 3.000 pro Prüfungskandidaten. Daher müssen in jedem Land personelle und finanzielle Ressourcen berücksichtigt werden. Es bleibt zu diskutieren, wie viel die FA-Weiterbildung AM kosten darf und zu was für einem Ausmaß ein AIW selbst dafür aufkommen soll. Weiterbilder sollten jedoch in jedem Fall professionelle Anerkennung auch in Form von angemessener Vergütung erhalten.Eine Stärke der Studie ist, das sie die erste ihrer Art ist, die einen Überblick über die verschiedenen Methoden der FA-Weiterbildung AM und die dazugehörigen Prüfungsformen in Europa gibt. Diese Pilotstudie präsentiert Basisdaten zu einem Thema, das im Kontext der EU-Politik in den nächsten Jahren mehr Aufmerksamkeit erfahren wird. Eine Einschränkung der Studie ist die Größe der Stichprobe. Diese war jedoch vereinbar mit dem erklärten Ziel der Studie, Basisinformationen über die verschiedenen Formen der FA-Weiterbildung AM und entsprechenden Prüfungsmethoden in den teilnehmenden Ländern zu gewinnen. Der Fragebogen enthielt darüber hinaus einige geschlossene Fragen, die eventuell zu eingeschränkten Antworten geführt haben könnten. Zusätzlich waren die erfassten Daten heterogen, was die Zusammenfassung im Ergebnisteil erschwert hat. Durch das Codieren der Antworten der offenen Fragen, ist ein Bias bei der Interpretation nicht ausgeschlossen. Um diesen Effekt zu minimieren, wurden das Transkript sowie das Manuskript von allen Autoren sorgfältig überprüft. Nicht für alle Fragen des Fragebogens ist Evidenz verfügbar, was zu „Eminenz-basierten“ Schlussfolgerungen geführt haben könnte.Der nächste Arbeitsschritt wird sein, den Fragebogen dieser Pilotstudie anhand der Ergebnisse zu überarbeiten und quantitative Daten zur FA-Weiterbildung AM in Europa zu erheben. ConclusionThis pilot study provides a first overview of different methods of FM specialty training and assessment methods in Europe. Longitudinal and competence-based approaches are presently favored in developed European countries. Countries as DE, which perform less multifaceted assessments can benefit from best practice in neighboring countries. Of critical importance to future FM specialty training programs is the financial aspect: assessing competencies is more costly than assessing knowledge. More research is needed, to establish whether performance in assessment correlates with clinical skills in real working conditions and the new challenges occurring in primary health care service delivery. SchlussfolgerungDiese Pilotstudie gibt einen Überblick über die verschiedenen Arten der FA-Weiterbildung AM und die dazugehörigen Prüfungsmethoden in Europa. Longitudinale und kompetenzbasiere Ansätze werden dabei aktuell in Europäischen Ländern bevorzugt. Länder wie DE, die weniger ausgefeilte Prüfungsformate anwenden, können von dem Beispiel ihrer Nachbarländer lernen. Ein wichtiger Gesichtspunkt der zukünftigen FA-Weiterbildung AM ist der finanzielle Aspekt: Die Erfassung von Kompetenzen (Wissen, Fertigkeiten und Haltung) ist kostspieliger als die reine Erfassung von Wissen. Weitere Studien, die überprüfen, ob die Prüfungsleistung mit klinischen Fähigkeiten im Arbeitsalltag korrelieren, sind wünschenswert. Authors' contributionsEF and JS had been involved in conception and design and analysis of data. RM, MGC, NiS, NS, TL, MR made substantial contributions to acquisition and interpretation of data. All authors have been involved in revising the manuscript thoroughly and have given final approval of the version to be published. Beitrag der AutorenEF und JS entwickelten das Konzept dieser Pilotstudie und führten die Datenerhebung und -analyse durch. RM, MGC, NiS, NS, TL, MR trugen substantiell zu der Erhebung und Interpretation der Daten bei. Alle Autoren waren in das Korrekturlesen und sorgfältige Überprüfen des Manuskriptes eingebunden und haben der final publizierten Version zugestimmt. AcknowledgementsThis project was supported by the Ministry of Labour and Social Affairs, Families, Woman and Senior Citizens by means from the federal state of Baden-Württemberg. We would like to thank our colleague and native English speaker Sarah Berger for editing the manuscript. DanksagungWir danken unserer Kollegin Sarah Berger für das Editieren des englischen Manuskripts. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenskonflikte im Zusammenhang mit diesem Artikel haben. Bodenheimer T Pham HH Primary care: current problems and proposed solutions 2010 Health Aff (Millwood) 799-805 Bodenheimer T, Pham HH. Primary care: current problems and proposed solutions. Health Aff (Millwood). 2010;29(5):799-805. DOI: 10.1377/hlthaff.2010.0026 http://dx.doi.org/10.1377/hlthaff.2010.0026 Anonym Facharzt für Allgemeinmedizin europaweit anerkennen 2012 Dtsch Ärztebl 644 Facharzt für Allgemeinmedizin europaweit anerkennen. Dtsch Ärztebl. 2012;644. Zugänglich unter/available from: http://www.aerzteblatt.de/nachrichten/52471/Facharzt-fuer-Allgemeinmedizin-europaweit-anerkennen http://www.aerzteblatt.de/nachrichten/52471/Facharzt-fuer-Allgemeinmedizin-europaweit-anerkennen Anonym Internationaler Hausärztetag: Allgemeinmedizin muss für den Nachwuchs attraktiver werden 2014 Dtsch Ärztebl 131 Internationaler Hausärztetag: Allgemeinmedizin muss für den Nachwuchs attraktiver werden. Dtsch Ärztebl. 2014;131. Zugänglich unter/available from: http://www.aerzteblatt.de/nachrichten/60252/Internationaler-Hausaerztetag-Allgemeinmedizin-muss-fuer-den-Nachwuchs-attraktiver-werden http://www.aerzteblatt.de/nachrichten/60252/Internationaler-Hausaerztetag-Allgemeinmedizin-muss-fuer-den-Nachwuchs-attraktiver-werden Kousoulis AA Angelopoulou KE Lionis C Exploring health care reform in a changing Europe: Lessons from Greece 2013 Eur J Gen Pract 194-199 Kousoulis AA, Angelopoulou KE, Lionis C. Exploring health care reform in a changing Europe: Lessons from Greece. Eur J Gen Pract. 2013;19(3):194-199. DOI: 10.3109/13814788.2013.779663 http://dx.doi.org/10.3109/13814788.2013.779663 Heyrman J 2005 European Academy of Teachers in General Practice (EURACT) Heyrman J. European Academy of Teachers in General Practice (EURACT). Leuven: EURACT Educational Agenda; 2005. Korzilius H Weiterbildung zum Facharzt. Reformkonzept am Start 2012 Dtsch Ärztebl A2500 Korzilius H. Weiterbildung zum Facharzt. Reformkonzept am Start. Dtsch Ärztebl. 2012;109(50):A2500. Iglar K Whitehead C Takahashi SG Competency-based education in family medicine 2013 Med Teach 115-119 Iglar K, Whitehead C, Takahashi SG. Competency-based education in family medicine. Med Teach. 2013;35(2):115-119. DOI: 10.3109/0142159X.2012.733837 http://dx.doi.org/10.3109/0142159X.2012.733837 Iobst WF Sherbino J Cate OT Richardson DL Dath D Swing SR Harris P Mungroo R Holmboe ES Frank JR Competency-based medical education in postgraduate medical education 2010 Med Teach 651-656 Iobst WF, Sherbino J, Cate OT, Richardson DL, Dath D, Swing SR, Harris P, Mungroo R, Holmboe ES, Frank JR. Competency-based medical education in postgraduate medical education. Med Teach. 2010;32(8):651-656. DOI: 10.3109/0142159X.2010.500709 http://dx.doi.org/10.3109/0142159X.2010.500709 Kramer AW Dusman H Tan LH Jansen KJ Grol RP van der Vleuten CP Effect of extension of postgraduate training in general practice on the acquisition of knowledge of trainees 2003 Fam Pract 207-212 Kramer AW, Dusman H, Tan LH, Jansen KJ, Grol RP, van der Vleuten CP. Effect of extension of postgraduate training in general practice on the acquisition of knowledge of trainees. Fam Pract. 2003;20(2):207-212. DOI: 10.1093/fampra/20.2.207 http://dx.doi.org/10.1093/fampra/20.2.207 Kramer AW Jansen JJ Zuithoff P Dusman H Tan LH Grol RP van der Vleuten CP Predictive validity of a written knowledge test of skills for an OSCE in postgraduate training for general practice 2002 Med Educ 812-819 Kramer AW, Jansen JJ, Zuithoff P, Dusman H, Tan LH, Grol RP, van der Vleuten CP. Predictive validity of a written knowledge test of skills for an OSCE in postgraduate training for general practice. Med Educ. 2002;36(9):812-819. DOI: 10.1046/j.1365-2923.2002.01297.x http://dx.doi.org/10.1046/j.1365-2923.2002.01297.x Hobma S Ram P Muijtjens A van der Vleuten C Grol R Effective improvement of doctor-patient communication: a randomised controlled trial 2006 Br J Gen Pract 580-586 Hobma S, Ram P, Muijtjens A, van der Vleuten C, Grol R. Effective improvement of doctor-patient communication: a randomised controlled trial. Br J Gen Pract. 2006;56(529):580-586. Tromp F Vernooij-Dassen M Grol R Kramer A Bottema B Assessment of CanMEDS roles in postgraduate training: the validation of the Compass 2012 Patient Educ Couns 199-204 Tromp F, Vernooij-Dassen M, Grol R, Kramer A, Bottema B. Assessment of CanMEDS roles in postgraduate training: the validation of the Compass. Patient Educ Couns. 2012;89(1):199-204. DOI: 10.1016/j.pec.2012.06.028 http://dx.doi.org/10.1016/j.pec.2012.06.028 Pelgrim EA Kramer AW Mokkink HG van den Elsen L Grol RP van der Vleuten CP In-training assessment using direct observation of single-patient encounters: a literature review 2011 Adv Health Sci Educ Theory Pract 131-142 Pelgrim EA, Kramer AW, Mokkink HG, van den Elsen L, Grol RP, van der Vleuten CP. In-training assessment using direct observation of single-patient encounters: a literature review. Adv Health Sci Educ Theory Pract. 2011;16(1):131-142. DOI: 10.1007/s10459-010-9235-6 http://dx.doi.org/10.1007/s10459-010-9235-6 Wakeford R 2012 MRCGP Annual Report (August 2011–July 2012) on the results of the AKT and CSA Assessments org Wakeford R. MRCGP Annual Report (August 2011–July 2012) on the results of the AKT and CSA Assessments. Cambridge: Royal College of General Practitioners; 2012. Zugänglich unter/available from: http://www.rcgp.org.uk/gp-training-and-exams/mrcgp-exam-overview/mrcgp-annual-reports/~/media/Files/GP-training-and-exams/Annual%20reports/MRCGP%20Statistics%202011-12%20final%20121212.ashx http://www.rcgp.org.uk/gp-training-and-exams/mrcgp-exam-overview/mrcgp-annual-reports/~/media/Files/GP-training-and-exams/Annual%20reports/MRCGP%20Statistics%202011-12%20final%20121212.ashx Siriwardena AN Dixon H Blow C Irish B Milne P Performance and views of examiners in the Applied Knowledge Test for the nMRCGP licensing examination 2009 Br J Gen Pract e38-43 Siriwardena AN, Dixon H, Blow C, Irish B, Milne P. Performance and views of examiners in the Applied Knowledge Test for the nMRCGP licensing examination. Br J Gen Pract. 2009;59(559):e38-43. DOI: 10.3399/bjgp09X395111 http://dx.doi.org/10.3399/bjgp09X395111 Driessen E Scheele F What is wrong with assessment in postgraduate training? Lessons from clinical practice and educational research 2013 Med Teach 569-574 Driessen E, Scheele F. What is wrong with assessment in postgraduate training? Lessons from clinical practice and educational research. Med Teach. 2013;35(7):569-574. DOI: 10.3109/0142159X.2013.798403 http://dx.doi.org/10.3109/0142159X.2013.798403 Taylor DH Jr1 Leese B General practitioner turnover and migration in England 1990-94 1998 Br J Gen Pract 1070-1072 Taylor DH Jr1, Leese B. General practitioner turnover and migration in England 1990-94. Br J Gen Pract. 1998;48(428):1070-1072. Steinhäuser J Ledig T Szecsenyi J Eicher C Engeser P Roos M Bungartz J Joos S Train the Trainer für weiterbildungsbefugte Allgemeinärzte – ein Bericht über die Pilotveranstaltung im Rahmen des Programms Verbundweiterbildungplus 2012 GMS Z Med Ausbild Doc43 Steinhäuser J, Ledig T, Szecsenyi J, Eicher C, Engeser P, Roos M, Bungartz J, Joos S. Train the Trainer für weiterbildungsbefugte Allgemeinärzte – ein Bericht über die Pilotveranstaltung im Rahmen des Programms Verbundweiterbildungplus. GMS Z Med Ausbild. 2012;29(3):Doc43. DOI: 10.3205/zma000813 http://dx.doi.org/10.3205/zma000813 Hauer KE Soni K Cornett P Kohlwes J Hollander H Ranji SR Ten Cate O Widera E Calton B O'Sullivan PS Developing Entrustable Professional Activities as the Basis for Assessment of Competence in an Internal Medicine Residency: A Feasibility Study 2013 J Gen Intern Med 1110-1114 Hauer KE, Soni K, Cornett P, Kohlwes J, Hollander H, Ranji SR, Ten Cate O, Widera E, Calton B, O'Sullivan PS. Developing Entrustable Professional Activities as the Basis for Assessment of Competence in an Internal Medicine Residency: A Feasibility Study. J Gen Intern Med. 2013;28(8):1110-1114. DOI: 10.1007/s11606-013-2372-x http://dx.doi.org/10.1007/s11606-013-2372-x Leung WC Competency based medical training: review 2002 BMJ 693-696 Leung WC. Competency based medical training: review. BMJ. 2002;325(7366):693-696. DOI: 10.1136/bmj.325.7366.693 http://dx.doi.org/10.1136/bmj.325.7366.693 ten Cate O Scheele F Competency-based postgraduate training: can we bridge the gap between theory and clinical practice? 2007 Acad Med 542-547 ten Cate O, Scheele F. Competency-based postgraduate training: can we bridge the gap between theory and clinical practice? Acad Med. 2007;82(6):542-547. DOI: 10.1097/ACM.0b013e31805559c7 http://dx.doi.org/10.1097/ACM.0b013e31805559c7 Epstein RM Assessment in medical education 2007 New Engl J Med 387-396 Epstein RM. Assessment in medical education. New Engl J Med. 2007;356(4):387-396. DOI: 10.1056/NEJMra054784 http://dx.doi.org/10.1056/NEJMra054784 Wormald BW Schoeman S Somasunderam A Penn M Assessment drives learning: an unavoidable truth? 2009 Anat Sci Educ 199-204 Wormald BW, Schoeman S, Somasunderam A, Penn M. Assessment drives learning: an unavoidable truth? Anat Sci Educ. 2009;2(5):199-204. DOI: 10.1002/ase.102 http://dx.doi.org/10.1002/ase.102 Carraccio CL Englander R From Flexner to Competencies: Reflections on a Decade and the Journey Ahead 2013 Acad Med 1067-1073 Carraccio CL, Englander R. From Flexner to Competencies: Reflections on a Decade and the Journey Ahead. Acad Med. 2013;88(8):1067-1073. DOI: 10.1097/ACM.0b013e318299396f http://dx.doi.org/10.1097/ACM.0b013e318299396f van der Vleuten CP Schuwirth LW Assessing professional competence: from methods to programmes 2005 Med Educ 309-317 van der Vleuten CP, Schuwirth LW. Assessing professional competence: from methods to programmes. Med Educ. 2005;39(3):309-317. DOI: 10.1111/j.1365-2929.2005.02094.x http://dx.doi.org/10.1111/j.1365-2929.2005.02094.x 11en1de

22en2de

33en3de

3 0 0 0