Development of Entrustable Professional Activities for entry into residency at the Charité Berlin

zma001213 10.3205/zma001213 urn:nbn:de:0183-zma0012137 article Artikel Development of Entrustable Professional Activities for entry into residency at the Charité Berlin Entwicklung von Entrustable Professional Activities für den ärztlichen Berufsbeginn an der Charité Berlin Holzhausen Holzhausen Ylva Y

Charité – Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Dieter Scheffner Fachzentrum für medizinische Hochschullehre und Ausbildungsforschung, Berlin, Germany

Charité – Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Dieter Scheffner Fachzentrum für medizinische Hochschullehre und Ausbildungsforschung, Berlin, Deutschland

ylva.holzhausen@charite.de author Maaz Maaz Asja A

Charité – Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Dieter Scheffner Fachzentrum für medizinische Hochschullehre und Ausbildungsforschung, Berlin, Germany

Charité – Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Dieter Scheffner Fachzentrum für medizinische Hochschullehre und Ausbildungsforschung, Berlin, Deutschland

asja.maaz@charite.de author Renz Renz Anna A

Charité – Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Dieter Scheffner Fachzentrum für medizinische Hochschullehre und Ausbildungsforschung, Berlin, Germany

Charité – Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Dieter Scheffner Fachzentrum für medizinische Hochschullehre und Ausbildungsforschung, Berlin, Deutschland

anna.renz@charite.de author Bosch Bosch Josefin J

Charité – Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Dieter Scheffner Fachzentrum für medizinische Hochschullehre und Ausbildungsforschung, Berlin, Germany

Charité – Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Dieter Scheffner Fachzentrum für medizinische Hochschullehre und Ausbildungsforschung, Berlin, Deutschland

josefin.bosch@charite.de author Peters Peters Harm H Prof. Dr. med. MHPE

Charité – Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Dieter Scheffner Fachzentrum für medizinische Hochschullehre und Ausbildungsforschung, Charitéplatz 1, D-10117 Berlin, Germany, Phone: +49 (0)30/450-576207, Fax: +49 (0)30/450-576984Charité – Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Dieter Scheffner Fachzentrum für medizinische Hochschullehre und Ausbildungsforschung, Berlin, Germany

Charité – Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Dieter Scheffner Fachzentrum für medizinische Hochschullehre und Ausbildungsforschung, Charitéplatz1, 10117 Berlin, Deutschland, Telefon: +49 (0)30/450-576207, Fax: +49 (0)30/450-576984Charité – Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Dieter Scheffner Fachzentrum für medizinische Hochschullehre und Ausbildungsforschung, Berlin, Deutschland

harm.peters@charite.de author German Medical Science GMS Publishing House

Düsseldorf

610 Entrustable Professional Activities curriculum development undergraduate medical education consensus methods Entrustable Professional Activities Curriculumsentwicklung Medizinstudium Verfahren der Konsensbildung Competency Based Assessment Kompetenzbasiertes Prüfen 20180425 20181024 20190109 20190215 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 36 1 GMS Journal for Medical Education GMS J Med Educ 5 European Union’s Seventh Framework Programme for research, technological development and demonstration Bundesministeriums für Bildung und Forschung, Initiative „Hochschulpakt MSM 2.0 „Modellstudiengang Medizin 2.0“ Hintergrund: Entrustable Professional Activities (EPAs) haben sich als ein neues Konzept etabliert, um die Erwartungen an ärztliche Berufsanfänger am Arbeitsplatz zu operationalisieren. Die Übertragbarkeit von EPAs von einem auf den anderen Kontext ist nur begrenzt möglich. In diesem Artikel berichten wir über die Ergebnisse unseres Vorgehens, ein komplettes Set an Kern-EPAs zu entwickeln, die ärztliche Berufsanfänger unter entfernter Aufsicht ausführen können sollten.Methode: Die Entwicklung der EPAs erfolgte mittels einer modifizierten, aus 3 Runden bestehenden Delphi-Studie an der Charité - Universitätsmedizin, Berlin. Als Aufsichtsgrad wurde festgelegt, dass supervidierende Ärzte mit zeitlicher Verzögerung zur Verfügung stehen und Wichtiges nachgeprüft wird. Ein Content Validity Index von mindestens 80% wurde als Grenze für den Konsens festgelegt. Die Delphi-Studie wurde mit erfahrenen Ärzten durchgeführt (n=45) und resultierte in ein Set von EPAs, die jeweils folgende Kategorien beinhalten: Titel; Spezifikationen/Limitationen; Bedeutung der Entrustment-Entscheidung; Kenntnisse, Fertigkeiten und Haltungen; Kompetenzbereiche und Assessment.Ergebnisse: Der Rücklauf in den Delphi-Runden lag zwischen 76-80%. Voraussetzung für den inhaltlichen Validierungsprozess der Kerntätigkeiten war die Festlegung des Supervisionslevels auf „unter entfernter Aufsicht handeln“. Die Ergebnisse sind vollständige Beschreibungen von 12 EPAs, eingeordnet in 5 übergeordnete EPA-Domänen.Schlussfolgerungen: Unser systematisches Vorgehen ergab die Definition von 12 Kern-EPAs für ärztliche Berufsanfänger mit dem Aufsichtsgrad „unter entfernter Aufsicht handeln“ für die Anwendung in unserem Kontext. Dieser Bericht soll andere medizinische Fakultäten unterstützen, die eine Implementierung von EPAs in ihre Curricula planen. Background: Entrustable Professional Activities (EPAs) have emerged as a new approach to operationalise the workplace performance expectations for the transition from under- to postgraduate medical training. However, the transferability of such EPAs from one context to another appears limited. In this article, we report on the results of our approach to define a full set of core EPAs for entry into residency with the expectation to be performed under distant supervision. Methods: The EPA development involved a modified, three round Delphi study, conducted at the Charité – Universitätsmedizin Berlin. The supervision level was operationalised as supervisor being distantly available and findings being reviewed. The threshold for consent was reaching a content validity index of a least 80%. The Delphi study involved experienced physicians (n=45) and resulted in a set of core EPAs with the descriptions of the categories: title, specification/limitations, conditions and implications of entrustment decision, knowledge, skills, and attitude, link to competencies and assessment sources. Results: The response rates were 76-80% in the Delphi rounds. Key to the content validation process for the performance expectation was deciding on “to act under distant supervision”. The results are full descriptions of 12 core EPAs, organised into 5 overarching EPA domains. Conclusions: Our systematic approach yielded the definition of 12 core EPAs for entry into residency at the level of “act with distant supervision” according to the practice in our context. This report may support other medical schools who plan to implement EPAs into their curricula. 1. BackgroundThe progress from undergraduate to postgraduate training represents an important and critical transition in medical education. This holds true for the institutions and educators involved, as well as for the individual trainee and future medical doctor. Competency-based medical education (CBME) has provided a shared conceptual framework for both undergraduate and postgraduate programs, and has thereby led to a better alignment of the two training periods , . However, CBME does not translate well into real-world clinical practice . There is nevertheless a need for a tangible operationalisation that defines the workplace performance expectations for residents when entering the postgraduate training, which in turn would represent the overarching outcomes that should be reached by graduates at the end of undergraduate education. The concept of Entrustable Professional Activities (EPAs) has emerged as a meaningful approach to specify educational outcomes in postgraduate medical training in several countries . In Germany, the EPA has received an increasing amount of attention in postgraduate medical education , , . Its application to the transition from undergraduate to postgraduate medical education is currently an active field of development and research , , , , , , . Although examples of such core EPAs for entry into residency have become available, their application to other contexts and countries is limited. Many medical schools who consider the implementation of EPAs into their programs have to undergo their own EPA development process according to their context. Key to this process is specifying the supervision level at entry into residency. In this article, we report on the results of our approach to define a full set of core EPAs for entry into residency at the Charité – Universitätsmedizin Berlin (Charité) according to the medical practice of our educational setting.The specification of educational outcomes by the EPA concept builds on two of its key elements: professional activities which represent authentic workplace tasks characteristic of a profession, and levels of supervisions, i.e. the degree of supervision a trainee needs to carry out a professional activity , . The professional activities can range from smaller tasks for junior trainees to the full range of all tasks characteristic of a discipline being envisaged for senior physicians when completing their postgraduate medical training . Over the course of medical training, the supervision levels gradually decrease from “allowed to observe only” (level 1) and “act under direct observation” (level 2) in early training, over “act under indirect supervision” (e.g. being available on request, level 3) to “act unsupervised” in later training stages (level 4) . The combination of these two components – i.e. professional activities and supervision levels – can be employed to operationalise the performance-based outcomes in medical education. A further strength of this approach is that it builds on real-world workplace practices and uses a language that communicates well with medical supervisors, trainees and program directors. The content definition of educational outcomes by EPAs is generally achieved through a step-by-step consent process among content experts. It begins with the identification of authentic professional tasks, secondly the elaboration of its characteristics, followed by the content validation procedure , . Key to the definition of EPAs for entry into residency is choosing and specifying a supervision level which reflects the supervision practice for graduating physicians in a particular context. Chen at al. have introduced a more granular operationalisation of supervision levels, especially for “act under indirect supervision” . Closer or less close supervision will have an impact on the breadth and depth elaboration of entry into residency EPAs, for instance the spectrum of patient and disease complexity to be included. According to the current literature, an EPA definition should yield a seven-category description to fully define its content , , .So far, core EPAs for entry into residency have been reported at a national level for the USA , Canada and Switzerland . While these sets of EPAs have several features in common, there are also tangible differences in the tasks which constitute the core of activities expected from all entering residents and the level of task difficulty to ensure they are manageable for entering residents. These differences likely reflect differences in the medical practice of these countries and indicate that one set of core EPAs for entry into residency cannot automatically be transferred from one context to another. All three EPA sets do not clearly specify the expected level of supervision at entry into residency. For the USA, the goal is without direct supervision (> level 2), for Canada it is with indirect supervision (supervisor not in the room but available to provide assistance) and for Switzerland it is distant, on-demand supervision (both level 3). The supervision levels leave open the temporal availability of the supervisor and how the findings and approaches of the resident are checked afterwards. We think this step is critical for the further content elaboration and validation of the breadth and depth of core EPAs for entry into residency in any context. The benefits of using a more granular supervisions levels as introduced by Chen at al. have shown in a recent article reporting on the definition of EPAs for the undergraduate medical curriculum in Utrecht, the Netherlands .At the Charité, we have recently undergone a curricular reform of the undergraduate medical program . The new curriculum was developed and implemented semester-by-semester in a faculty-wide approach on basis of a pre-defined outcome catalogue comparable to the Nationaler Kompetenzbasierter Lernzielkatalog (NKLM) and the CanMEDS framework , . The result was a competency-based, vertically and horizontally integrated undergraduate medical curriculum with the first graduates entering postgraduate training in 2016. As professional activities served as the main longitudinal curriculum structure, there was a need to define EPAs as overarching outcomes for the program and for entry into residency . In our context, the vast majority of graduating physicians start their postgraduate training in a hospital setting, where they mainly take care of adult patients. The general expectation is that the graduating physicians are in charge of adult patients on the ward during the day shift under distant supervision. The typical workflow of supervision encompasses daily routine meetings between trainee and supervising physician where new patients are presented and key medical decisions on all ward patients are coordinated. In addition, the trainee and supervisor jointly undertake full ward rounds twice a week. This aligns with supervision level 3c (supervisor distantly available and findings are reviewed) according to Chen at al. . The aim of this article is to report on the results of a Delphi study defining a set of core EPAs delineated as full, seven-category descriptions. According to our context, they operationalise the clinical performance expectation for medical graduates entering residency, when acting under distant supervision. This is operationalised as the supervisor is not on the ward and findings are reviewed afterwards. 1. HintergrundDer Übergang vom Medizinstudium zur ärztlichen Weiterbildung stellt eine wichtige Transition in der ärztlichen Ausbildung dar. Dies gilt sowohl für die Institutionen und ihre Lehrenden, als auch für die Auszubildenden und zukünftige Ärzte. Die kompetenz-basierte medizinische Ausbildung bietet ein übergreifendes, theoretisches Rahmenwerk sowohl für das Medizinstudium als auch die Weiterbildung, und hat dadurch zu einer besseren Abstimmung der beiden Ausbildungsphasen geführt , . Jedoch hat sich die Übertragung von kompetenz-basierter medizinischer Ausbildung in die klinische Praxis als schwierig erwiesen . Es besteht der Bedarf nach einer konkreten Operationalisierung der tätigkeitsbasierten Leistungserwartungen an ärztliche Berufsanfänger am Arbeitsplatz, die wiederum die übergeordneten Outcomes für das Medizinstudium darstellen. Das Konzept der EPAs hat sich in mehreren Ländern als sinnvolles Vorgehen erwiesen, Ausbildungsziele für die ärztliche Weiterbildung zu definieren . In Deutschland hat das Konzept der EPAs zunehmend Aufmerksamkeit im Bereich der ärztlichen Weiterbildung gewonnen , , . Die Definition von Outcomes für das Medizinstudium ist derzeit ein aktives Feld in der Forschung und Entwicklung , , , , , , . Obwohl Beispiele von Kern-EPAs für den ärztlichen Berufsbeginn mittlerweile verfügbar sind, ist ihre direkte Übertragung in einen anderen Kontext und ein anderes Land begrenzt. Viele medizinische Fakultäten, die eine Implementierung von EPAs in ihre eigenen Programme erwägen, werden einen eigenen EPA-Entwicklungsprozess durchführen müssen, der die lokalen Rahmenbedingungen berücksichtigt. Wichtig für diesen Prozess ist die Festlegung des Aufsichtsgrads für Berufsanfänger. In diesem Artikel berichten wir über die Ergebnisse unseres Vorgehens, ein vollständiges Set solcher Kern-EPAs für den ärztlichen Berufsbeginn an der Charité - Universitätsmedizin, Berlin (Charité) zu entwickeln.Die Spezifizierung von Outcomes durch das EPA-Konzept baut auf zwei seiner Kernelemente auf: Professionelle Tätigkeiten, die authentische Aufgaben am beruflichen Arbeitsplatz darstellen und Aufsichtsgrade, d.h. das Maß an Supervision, das für die Durchführung der Tätigkeit notwendig ist , . Die professionellen Tätigkeiten können von kleineren Aufgaben für Studierende bis hin zu den komplexen Tätigkeiten eines Facharztes umfassen . Im Laufe der medizinischen Ausbildung nimmt das Maß der Aufsicht graduell ab: „Beobachten dürfen“ (Grad 1), „Direkte Aufsicht“ (Grad 2), „Indirekte Aufsicht“ (z.B. nach Bedarf verfügbar sein, Grad 3), „Unbeaufsichtigt handeln“ (Grad 4) . Die Kombination aus diesen zwei Komponenten, d.h. professionellen Tätigkeiten und Supervisionsgrad, kann eingesetzt werden, um leistungsbasierte Outcomes in der medizinischen Ausbildung zu operationalisieren. Ein weiterer Vorteil des Konzepts liegt in der direkten Verbindung zur Berufspraxis, womit es supervidierenden Ärzten, Studierenden sowie Programmdirektoren leichter zu vermitteln ist.Die Definition von EPAs wird generell durch ein iteratives Konsensverfahren mit Fachexperten erreicht. Dies beginnt mit der Identifizierung von authentischen professionellen Tätigkeiten, gefolgt von der konkreten Ausarbeitung des Inhalts, und einem abschließenden Inhaltsvalidierungsprozess , . Voraussetzung für die Definition von EPAs für den ärztlichen Berufsbeginn ist die Festlegung und Spezifizierung eines Aufsichtsgrads, dass das Maß an Aufsicht für Berufsanfängern vor Ort widerspiegelt. Chen et al. haben eine detailliertere Operationalisierung der Aufsichtsgrade entwickelt, insbesondere für „unter indirekter Aufsicht handeln“ . Eine enge oder weniger enge Supervision wirkt sich auf die Breite und Tiefe der EPAs für Berufsanfänger aus, z.B. auf das Komplexitätsspektrum an zu behandelnden Patienten und Krankheitsbildern. Laut aktueller Literatur sollte eine EPA-Definition insgesamt 7 Kategorien umfassen, um den Inhalt vollständig zu erfassen , , . Über Kern-EPAs für ärztliche Berufsanfänger wurde auf nationaler Ebene bisher aus den USA , Kanada und der Schweiz berichtet. Obwohl diese EPA-Sets einige Gemeinsamkeiten aufweisen, gibt es auch deutliche Unterschiede zwischen den Tätigkeiten, die die für Berufsanfänger zu erwartenden Kernaufgaben abbilden, und dem Schwierigkeitsgrad, der sicherstellt, dass die Aufgaben zu bewältigen sind. Diese Unterschiede spiegeln möglicherweise Unterschiede in der medizinischen Praxis dieser Länder wider und deuten darauf hin, dass ein Set an EPAs für Berufsanfänger nicht automatisch von einem Kontext in den anderen übertragen werden kann. In keinem der bereits veröffentlichten Kern-EPA-Sets wird der erwartete Grad an Aufsicht für den Berufseintritt klar definiert. Für die USA ist es das Ziel, dass Berufsanfänger ohne direkte Aufsicht handeln können (> Grad 2). Für Kanada besteht der Anspruch einer indirekten Aufsicht (supervidierender Arzt nicht direkt präsent, aber zur Unterstützung verfügbar) und in der Schweiz wird eine entfernte, bei Bedarf verfügbare Aufsicht genannt (beides Grad 3). Die beschriebenen Aufsichtsgrade lassen offen, wie schnell ein Arzt verfügbar ist und in welcher Tiefe die Arbeit des Berufsanfängers nachgeprüft wird. In unseren Augen ist dieser Schritt kritisch für die weitere Ausarbeitung von Inhalten sowie für die Validierung der Breite und Tiefe von Kern-EPAs für den Berufsbeginn, unabhängig vom Kontext. Die Vorteile der von Chen et al. vorgeschlagen detaillierteren Aufsichtsgrade wurden vor kurzen in einem Bericht aus Utrecht (Niederlanden) über die Definition von EPAs für das Medizinstudium gezeigt . An der Charité haben wir vor einigen Jahren eine umfassende curriculare Reform des Medizinstudiums durchgeführt . Das neue Curriculum wurde in einem fakultätsweiten Prozess semesterweise auf Basis eines vorher definierten, lokalen Outcome-Katalogs entwickelt und implementiert, der vergleichbar mit dem Nationalen Kompetenzbasierten Lernzielkatalog (NKLM) sowie dem CanMEDS Framework ist , . Das Ergebnis war ein kompetenz-basiertes, vertikal und horizontal integriertes Medizincurriculum. Die ersten Absolventen haben ihre Weiterbildung 2016 begonnen. Da professionelle Tätigkeiten eine wesentliche longitudinale Struktur des Curriculums bilden, war es notwendig, EPAs als übergeordnete Outcomes für den Studiengang und für das Praktische Jahr zu definieren . In unserem Kontext beginnt der überwiegende Anteil der Absolventen ihre Weiterbildung im Krankhaus, wo sie hauptsächlich erwachsene Patienten behandeln. Generell wird erwartet, dass die Absolventen tagsüber unter entfernter Aufsicht für erwachsene Patienten auf der jeweiligen Station zuständig sind. Der typische Ablauf der Supervision umfasst tägliche Treffen zwischen den Berufsanfängern und supervidierenden Ärzten, bei denen neue Patienten vorgestellt und wichtige Behandlungsentscheidungen für alle Stationspatienten abgesprochen werden. Darüber hinaus unternehmen die ärztlichen Berufsanfänger und Supervisoren zweimal pro Woche gemeinsame Visiten. Dies stimmt mit dem Aufsichtsgrad 3c nach Chen et al. überein (Aufsicht entfernt verfügbar und Arbeitsergebnisse werden besprochen) . In diesem Artikel berichten wir über die Ergebnisse einer Delphi-Studie, in der ein Set an Kern-EPAs definiert wurde, dessen Beschreibungen jeweils aus 7 Kategorien bestehen. Für unseren Kontext operationalisieren sie die tätigkeitsbasierten Leistungserwartungen für Absolventen des Medizinstudiums, die beim Berufsbeginn unter entfernter Aufsicht erwartet werden. Das Maß an Aufsicht wird operationalisiert als „Supervisoren sind nicht auf Station und die Arbeitsergebnisse werden hinterher geprüft“. 2. MethodsSettingThe study was conducted from January 2014 to November 2015 at the Charité. Its undergraduate medical program has an intake of more than 600 students per year, spans over six years and 5500 teaching hours in total. The Charité data protection office and ethics board approved the study (No EA2/091/14, Ethics Board Charité, Campus Mitte).Delphi studyThe approach was based on a modified, 3 round online Delphi consensus procedure. This process has been reported in detail elsewhere . To summarise, it involved a step-by-step interaction between a writing team and a multidisciplinary panel of 45 purposely selected physicians from the Charité faculty body with long-time clinical supervision experience and active involvement in the curriculum development process of the current undergraduate medical program (e.g. as module board members or department teaching coordinators). The starting point was the identification of core tasks expected from all graduating physicians when entering into residency to be performed under distant supervision. During the course of the Delphi study, participants received the description of various EPAs and had to rate the relevance and the specific content of the presented categories on a 4-point Likert scale (disagree / somewhat disagree/ somewhat agree / agree) . The threshold for consent was reaching a content validity index (CVI) of ≥80% . CVI represents the percentage of respondents who agreed or somewhat agreed to the description of a certain EPA category. Descriptive statistics were calculated using IBM SPSS statistics 23 following each Delphi round, including mean (M) and standard deviation (SD). In Delphi round 1, panel members could propose EPAs not included in the initial list provided. During the Delphi procedure, panel members provided both quantitative ratings and qualitative narratives on the EPA categories until consent was achieved: title (round 1-2), specification/limitations (round 1-3), conditions and implications of entrustment decision (round 2-3), and knowledge, skills, and attitude (round 3). It has recently been described in detail how we decided on which categories to include in the respective Delphi rounds .The writing team adjusted the EPA category descriptions on the basis of panel members´ ratings and comments. The EPAs were finally arranged according to the five overarching EPA domains to provide a more coherent picture . 2. MethodeSettingDie Studie wurde zwischen Januar 2014 und November 2015 an der Charité durchgeführt. Jährlich werden über 600 Studierende in den Modellstudiengang Medizin immatrikuliert, welcher insgesamt 6 Jahre und 5500 Unterrichtseinheiten umfasst. Der Datenschutzbeauftragte der Charité sowie die Ethikkommission erteilten ihre Freigabe für die Studie (Nr. EA2/091/14, Ethikkommission der Charité, Campus Mitte).Delphi-StudieDie Studie basierte auf einem modifizierten, online Delphi-Konsensverfahren mit 3 Runden. Der Prozess ist in einer anderen Arbeit ausführlich beschrieben worden . Zusammengefasst beinhaltet das Verfahren eine iterative Interaktion zwischen einem Schreibteam und einer multidisziplinären Expertengruppe mit 45 ausgewählten Fachärzten der Charité. Alle Ärzte haben eine langjährige Erfahrung in der Betreuung von Medizinstudierenden und Assistenzärzten und waren aktiv an dem Curriculumsentwicklungsprozess des Modellstudiengangs Medizin beteiligt (z.B. als Modulvorsitzende oder als Lehrkoordinator).Ausgangspunkt war die Identifikation von Kerntätigkeiten, die von allen Absolventen bei Berufsbeginn unter entfernter Aufsicht erwartet werden. Während der Delphi-Studie erhielten Teilnehmende Beschreibungen von mehreren EPAs und sollten die Relevanz und den spezifischen Inhalt der präsentierten Kategorien auf einer 4-Punkt Likert Skala bewerten (trifft nicht zu/trifft eher nicht zu/trifft eher zu/ trifft zu) . Die Konsensgrenze war eine Content Validity Index (CVI) von ≥80% . Der CVI stellt in Prozent den Anteil an Teilnehmenden dar, die einer Beschreibung einer bestimmten EPA-Kategorie zustimmten oder teilweise zustimmten. Deskriptive Statistiken wurden mittels IBM SPSS Statistics 23 nach jeder Delphi-Runde berechnet.In der ersten Delphi-Runde hatten Studienteilnehmer die Möglichkeit, EPAs vorzuschlagen, die nicht in der ursprünglich ausgehändigten Liste enthalten waren. Während des Delphi-Verfahrens gaben die Teilnehmer sowohl quantitative Bewertungen als auch qualitative Kommentare über die EPA-Kategorien ab, bis ein Konsens erreicht wurde: Titel (Runde 1-2); Spezifikationen/Limitationen (Runde 1-3); Bedeutung der Entrustment-Entscheidung (Runde 2-3); Kenntnisse, Fertigkeiten und Haltungen (Runde 3). An anderer Stelle wird detailliert darüber berichtet, wie die einbezogenen Kategorien festgelegt wurden . Basierend auf den Bewertungen und Kommentaren der Studienteilnehmer überarbeitete das Schreibteam die EPA-Kategorien. Die EPAs wurden abschließend 5 übergeordneten EPA-Domänen zugeordnet, um ein kohärentes Bild zu schaffen . 3. ResultsDelphi response rate and panel membersThe response rates were 80, 78 and 76 % in the three Delphi rounds with 36, 35 and 34 faculty members participating in each respectively. Thirty-two participants completed all three rounds. Participants’ demographics and characteristics are depicted in table 1 . Identification of core EPAs for entry into residencyThe panel members reached consensus on a total of 12 core activities with clinical performance expectations for entry into residency at the Charité. Table 2 displays the titles of the 12 core EPAs as grouped within 5 EPA domains. The panel members proposed an additional 20 topics for EPAs not listed in the initial list circulated in Delphi Round 1. A number of these suggestions could be integrated into the 12 EPAs, for instance “to document in the patient file” or “demonstrate sufficient understanding of basic science”. Others were of general nature, such as “show good time management”, or “recognise communication in stressful situations as a challenge”. The writing team decided that none of the proposed topics qualified as a separate EPA. Content elaboration and validation of core EPAs for entry into residencyDuring the Delphi process, the panel members reached consensus on the relevance ratings of the EPAs. Table 2 provides an overview of the ratings during the three Delphi rounds. The relevance rating indicates the match between the descriptions of an EPA with the expectation for entry into residency. In the case of a low CVI for an EPA, the EPA description was refined on the basis of the panel members´ narrative comments. In most cases the EPA specifications were perceived as too difficult, for entering residents to be able to perform them under distant supervision. In Delphi round 1, six EPA descriptions reached a CVI of 80% and higher, in round 2 a total of 10 EPA descriptions, and in round 3 all 12 EPA descriptions. Table 3 provides an overview of the panel member ratings during the Delphi process for the EPA category descriptions “title”, “specification/limitations”, “conditions and implications of entrustment decisions” and “knowledge, skills and attitude”.Key to the content validation process was the elaboration and definition of “to act under distant supervision” in the EPA category “conditions and implications of entrustment decision”. This was operationalised as the trainee acting autonomously and his or her findings and decisions being reviewed by the supervisor during the next regular meeting or ward round. In the subsequent process, this level of autonomy led to a specification of the patients as adults, presenting with typical clinical presentations or common diseases and no major difficulties involved. In an attempt not to exclude some patient groups and medical disciplines, the limitation section of each EPA emphasises that a closer level of supervision is required and a lesser degree of autonomy is granted in the case of unstable or critically ill patients, new-borns, infants, children, pregnant women and discipline-specific clinical presentations or diseases. Table 4 provides the description of EPA 1 “Gather a medical history, perform a physical exam and provide a structured summary of the results”. The article appendix includes the full description of all 12 EPAs as developed in this Delphi study. In addition to information on the context, smaller tasks were incorporated to describe what is included in an EPA. This led to two types of nested EPAs: one, in which the EPA is specified by a chronological order of all activities included (EPA 1.1-1.4, 3.1, 4.2 and 5.2), and another, in which the EPA forms a collection of tasks from the same group (EPA 2, 3.2, 4.1, 4.3 and 5.1) (see attachment 1 ). 3. ErgebnisseDelphi-Rücklaufquote und StudienteilnehmerDie Rücklaufquoten lagen in den 3 Delphi-Runden zwischen 80, 78 und 76%, mit jeweils 36, 35 und 34 teilnehmenden Fakultätsmitgliedern. 32 Teilnehmer nahmen an jeder Runde teil. Die soziodemografischen Kennzeichen der Teilnehmenden sind in Tabelle 1 dargestellt.Identifikation von Kern-EPAs für den ärztlichen BerufsbeginnDie Studienteilnehmer erreichten einen Konsens über insgesamt 12 Kern-Tätigkeiten für den ärztlichen Berufsbeginn. Tabelle 2 stellt die Überschriften der 12 Kern-EPAs dar, gruppiert in 5 übergeordnete EPA-Domänen. Die Teilnehmer schlugen zusätzlich 20 Themen für EPAs vor, die nicht in der ursprünglichen, ersten Delphi-Runde ausgehändigten Liste genannt waren. Einige dieser Themen konnten in die 12 EPAs integriert werden, wie z.B. „korrekte ärztliche Dokumentation“ oder „ausreichendes Grundlagenwissen“. Andere waren eher allgemeinerer Natur, wie z.B. „Management der eigenen Zeiteinteilung“ oder „Kommunikation in Stresssituationen als Herausforderung erkennen“. Das Schreibteam entschied, dass keines der verschlagenen Themen eine eigenständige EPA darstellt.Inhaltliche Ausführungen und Validierung von Kern-EPAs für ärztliche BerufsanfängerWährend des Delphi-Prozesses haben die Studienteilnehmer einen Konsens bei den Relevanz-Bewertungen der EPAs erreicht. Tabelle 2 gibt einen Überblick über die Bewertungen während der 3 Delphi-Runden. Die Relevanz-Bewertung deutet auf eine Übereinstimmung zwischen der Beschreibung der EPA mit der Erwartung für ärztliche Berufsanfänger hin. Im Fall eines niedrigen CVIs für eine EPA wurde die EPA-Beschreibung basierende auf den qualitativen Kommentaren der Teilnehmer überarbeitet. In den meisten Fällen wurden die Spezifikationen der EPAs als zu schwer für Berufsanfänger unter entfernter Aufsicht eingeschätzt. In der ersten Delphi-Runde erreichten 6 EPA Beschreibungen eine CVI von 80% und höher. In der zweiten Runde wurde ein Konsens für insgesamt 10 EPAs erreicht und in der dritten Runde für alle 12 EPAs. Tabelle 3 gibt einen Überblick über die Bewertungen der EPA Kategorien „Titel“, „Spezifikationen/Limitationen“, „Bedeutung der Entrustment-Entscheidung“ und „Kenntnisse, Fertigkeiten und Haltungen“ durch Studienteilnehmer während des Delphi- Prozesses.Wichtig für den inhaltlichen Validierungsprozess war die Ausführung und Definition des Supervisionslevels „unter entfernter Aufsicht handeln“ in der EPA-Kategorie „Bedeutung der Entrustment-Entscheidung“. Hier wurde festgelegt, dass der Berufsanfänger eigenständig handelt, und seine Ergebnisse und Entscheidungen bei der nächsten regulären Dienstbesprechung oder Visite geprüft werden. Im Verlauf führte dieser Aufsichtsgrad zu der Spezifizierung der Patientengruppe als Erwachsene mit typischer Präsentation und/oder häufigem Krankheitsbild/Beschwerdebild. Um den Ausschluss von bestimmten Patientengruppen oder medizinische Fachdisziplinen zu vermeiden, wurde als Limitation für die EPAs festgelegt, dass eine engere Aufsicht und weniger Selbstständigkeit bei schwerkranken Patienten, Säuglingen, Kleinkindern, Kindern, Schwangeren und fachspezifischen Krankheitsbildern notwendig ist.Tabelle 4 zeigt die Beschreibung der EPA 1 „Anamnese erheben, körperliche Untersuchung durchführen und Ergebnisse strukturiert zusammenfassen“. Die vollständigen Beschreibungen aller 12 EPAs befinden sich im Anhang des Artikels. Zusätzlich zu den Ausführungen über den Kontext, wurde der genaue Inhalte der EPAs anhand von kleineren Tätigkeiten beschrieben. Dies führte zu zwei Arten von „nested“, bzw. verschachtelten EPAs: erstens, eine, in denen alle in der EPA umfassten Tätigkeiten in einer chronologischen Reihenfolge aufgelistet sind (1.1-1.4, 3.1, 4.2 und 5.2), und zweitens eine andere, bei denen die EPA eine Sammlung von Tätigkeiten aus derselben Gruppe bildet (EPA 2, 3.2, 4.1, 4.3 und 5.1) (siehe Anhang 1 ). 4. DiscussionThe present study reports on the results of a process of defining 12 core EPAs for entry into residency at the level of “act with distant supervision”. The EPA content was established in a step-by-step process based on a modified Delphi procedure and a systematic interaction between a multidisciplinary faculty expert panel and a writing team of educational experts . The results of this process are full, seven-category descriptions of 12 EPAs which operationalise the performance expectations of graduating physicians according to the workplace practice and the new competency-based undergraduate medical program in our context at the Charité. In the following sections, we will discuss the results and implications of our study in the light of current literature.In a modified Delphi study, content experts from our medical school were intentionally involved to make the EPAs as relevant as possible to our setting and to gain the support of those who will eventually work with them. Decisive for our EPA definition process was the designation of a supervision level for entry into residency. According to the practice in our context, we chose “to act with distant supervision” as an anchor to define the content description of our 12 core EPAs by our panel members. This designated supervision level was subsequently operationalised during the Delphi process when the panel members expressed uncertainty during the panel meetings and in their narrative feedbacks as to how this level of autonomy would actually translate into the supervision practice. Their uncertainty connects to literature on trust and EPAs noting that entrustment decisions require the specification of exactly what has been decided , , . Entrustment relates to the acceptance that the trustee is permitted to act in circumstances where risks are present but still manageable . To approach the panel members´ uncertainty, we specified for each EPA in detail when and to which degree the findings and decisions by the trainee are to be checked by the supervisor in the EPA category “conditions and implications of entrustment decision”. Our operationalisation aligns well with supervision level 3c by Chen and colleagues (supervisor not immediately available, findings are reviewed), which had not been published when we defined our supervision level .Next, with “distant supervision” being set as the leading expectation, it became apparent that the difficulty of the tasks needed more specification to be manageable for graduating physicians. For this, we anchored the task complexity by referring to patients as adults with typical presentations, common diseases and typical courses of a disease. We can envision that in a specific clinical setting, this context can be further clarified according to the actual workplace practice. For instance, this could involve the 10-15 most common clinical presentations, diseases, drugs and procedures for which the distant supervision level is granted. To further curtail the EPA difficulty, we generally assigned a closer than distant supervision level for high-risk patients requiring urgent care, new-borns, children, pregnant woman and patients with special discipline-specific complaints and diseases.The result of our modified Delphi study were 12 core EPAs, i.e. authentic units of work which we arranged for a more logical listing into 5 EPA domains as proposed by ten Cate et al. . For instance, the four EPAs within the EPA domain “along the clinical encounter” can be seen as one workflow, but they represent separate EPAs, because a check by the supervisor is needed before the next EPA can be carried out. We identified 12 core EPAs, which is in the range of 9 to 13 EPAs identified by others , , , . In addition, there is an overlap in the breadth and scope of these sets of core EPAs. However, there are also several differences. First, there are differences in splitting and arrangement of the tasks. For example, others have defined the EPA to “prioritize a differential diagnosis” , . In our study, this task is integrated into EPA 1.1 “Gather a medical history, perform a physical exam and provide a structured summary of the results” and 1.2. “Compile a diagnostic work plan and initiate implementation” according to the workplace practice in our setting. Second, there are differences in the actual tasks chosen. For example, others have included an EPA for system improvements , , . In our setting, there is no such activity in the workplace for entering residents, and thus this task is not part of our 12 EPAs. There are also differences in the number of medical procedures to be carried out by a graduating physician. According to practice in our setting, we incorporated 15 medical procedures, while others included only four . Finally, we decided to organise our EPAs in such a manner that the specifications of the EPAs are described as nested tasks to make them observable and suitable for assessment purposes in early semesters. Our report holds several implications which go beyond the study itself. First, this study adds further example to the current search on how to define EPAs for entry into residency. It may serve as a stimulus and contribution for the definition of EPAs at a national level in Germany and the intended future development of the NKLM. Second, our Delphi study produced relevant faculty developments and ownership at our institution on how to translate CBME into practice by using the concepts of EPAs. Furthermore, the set of EPAs will be implemented as overarching outcomes for our undergraduate medical program with the intention to better prepare medical students for the workplace requirements in residency training. In order to reach this goal, the set of core EPAs should be employed to identify gaps, align learning sequences in a meaningful manner, adjust the assessment program and connect classroom and workplace learning in the undergraduate curriculum. Finally, the 12 core EPAs for entry into residency provide a blueprint for future educational research, for instance on the level of preparedness of graduates of our program on those core professional activities.This work has limitations. With regard to the content expert panel, there may have been a selection bias as only a subgroup of the faculty was invited to take part. In addition, first year residents were not included but could have been an important source for content validation. Moreover, we did not operationalise the performance expectations for the closer supervision level in special patient groups. The generalizability of the resulting EPAs to settings with differences in workplace practice is limited. 4. DiskussionDie hier vorgestellte Studie berichtet über die Ergebnisse eines Prozesses, in dem 12 Kern-EPAs für den ärztlichen Berufsbeginn unter dem Aufsichtsgrad „unter entfernter Aufsicht handeln“ definiert wurde. Der Inhalt der EPAs wurde in einem iterativen, auf einem Delphi-Verfahren basierten Prozess festgelegt, in dem eine systematische Interaktion zwischen einer interdisziplinären, fakultätsweiten Expertengruppe und einem aus Ausbildungsexperten bestehendem Schreibteam stattfand . Das Ergebnis ist ein Set von vollständigen, aus 7 Kategorien bestehenden Beschreibungen von 12 Kern-EPAs, die die Leistungserwartungen von ärztlichen Berufsanfänger für den Arbeitsplatz auf Basis der hiesigen Praxis sowie dem kompetenz-basierten Medizincurriculum an der Charité operationalisieren. Im Folgenden werden die Ergebnisse und Bedeutung unserer Studie im Rahmen der aktuellen Literatur diskutiert.In einer modifizierten Delphi-Studie wurden Fachvertreter aus unserer Fakultät beteiligt, um einerseits die EPAs so relevant wie möglich für unseren Kontext zu gestalten und um andererseits die Unterstützung derjenigen zu fördern, die letztendlich mit den EPAs arbeiten werden. Entscheidend für den EPA-Definitionsprozess war die Festlegung des Aufsichtsgrads für Berufsanfänger. Nach der hiesigen Praxis haben wir uns als Anker für die inhaltliche Beschreibung der 12 Kern-EPAs für das Supervisionslevel „unter entfernter Aufsicht handeln“ entschieden. Der festgelegte Aufsichtsgrad wurde im Verlauf des Delphi-Prozesses operationalisiert, da die Studienteilnehmer in dem narrativen Feedback und während der Gruppentreffen Unsicherheit darüber geäußert haben, inwiefern ein größerer Grad an Selbständigkeit in der Praxis umgesetzt wird. Diese Unsicherheit spiegelt die Literatur zu Vertrauen und EPAs wider: es wurde berichtet, dass als Voraussetzung für die Entscheidung des Anvertrauens, die Konsequenzen dieser Entscheidung genau festgelegt werden müssen , , . Das Anvertrauen beinhaltet die Akzeptanz, dass der Anvertraute unter Bedingungen handeln darf, bei denen Risiken vorhanden sind, aber bewältigt werden können . Um die Unsicherheit der Expertengruppenmitglieder zu berücksichtigen, haben wir jeder EPA die Kategorie „Bedeutung der Entrustment-Entscheidung“ hinzugefügt. Hier wird im Detail festgelegt, wo und inwiefern die Ergebnisse und Entscheidungen des Assistenzarztes durch die superdividierenden Ärzte geprüft werden. Unsere Operationalisierung stimmt mit den von Chen et al. definiertem Aufsichtsgrad 3c überein (Aufsicht entfernt verfügbar und Arbeitsergebnisse werden besprochen), der zu dem Zeitpunkt als wir unseren Aufsichtsgrad operationalisiert haben, noch nicht veröffentlicht war . Durch die Festlegung des Supervisionslevels wurde deutlich, dass der Schwierigkeitsgrad der Aufgaben genauer beschrieben werden musste, um für ärztlichen Berufsanfänger realistisch zu sein. Hierfür wurde die Aufgabenkomplexität auf erwachsene Patienten mit typischer Präsentation und/oder häufigem Krankheitsbild beschränkt. Es ist denkbar, dass in einem bestimmten klinischen Bereich der spezielle klinische Kontext entsprechend der vorherrschenden Praxis noch genauer festgelegt werden kann. Beispielsweise könnte dies die 10-15 der häufigsten klinischen Präsentationen, Krankheitsbilder, Medikamente und Behandlungsoptionen umfassen, die innerhalb dieses Aufsichtsgrads möglich sind. Um den EPA-Schwierigkeitsgrad weiter einzuschränken, haben wir einen größeren Aufsichtsgrad für Hochrisikopatienten mit akutem Behandlungsbedarf, Säuglinge, Kinder, Schwangere sowie Patienten mit fachspezifischen Symptomen und Krankheiten festgesetzt. Das Ergebnis unserer modifizierten Delphi-Studie sind 12 Kern-EPAs, d.h. authentische Arbeitseinheiten, die wir, um eine bessere Übersichtlichkeit zu erreichen, in 5 übergeordnete Domänen nach ten Cate et al. zugeordnet haben. Die 4 EPAs innerhalb der Domäne „Betreuung von Patienten“ können einem Arbeitsablauf zugeordnet werden, stellen aber unabhängige EPAs dar, da eine Prüfung durch supervidierende Ärzte notwendig ist, bevor die nächste EPA durchgeführt werden kann. Wir haben 12 Kern-EPAs für den ärztlichen Berufsbeginn identifiziert, was mit der Anzahl der von anderen Ländern definierten EPAs übereinstimmt, die zwischen 9-13 EPAs liegt , , , . Darüber hinaus überschneiden sich die Breite und Tiefe unseres EPA-Sets mit den der anderen. Es gibt jedoch auch Unterschiede. Zum einen beziehen sich diese auf die Aufteilung und Zuordnung der Tätigkeiten. Zum Beispiel haben andere die EPA „prioritize a differential diagnosis“ definiert , . In unserer Studie ist diese Aufgabe entsprechend der hiesigen Arbeitspraxis in EPA 1.1. „Anamnese erheben, körperliche Untersuchung durchführen und Ergebnisse strukturiert zusammenfassen“ und 1.2. „Diagnostischen Arbeitsplan erstellen Umsetzung einleiten“ integriert. Zum anderen geht es um die ausgewählten Aufgaben. Andere Sets haben zum Beispiel eine EPA für die Systemverbesserungen integriert , , . In unserem Kontext besteht eine solche Tätigkeit am Arbeitsplatz für ärztliche Berufsanfänger nicht, und ist daher kein Bestandteil unserer 12 EPAs. Es gibt zudem Unterschiede in der Anzahl der medizinischen Prozeduren, die von Berufsanfängern durchgeführt werden sollen. Angepasst an unseren Kontext haben wir 15 Prozeduren integriert, während andere lediglich 4 integriert haben . Abschließend haben wir die EPAs so geordnet, dass die Spezifikationen der EPAs als „nested“ EPAs operationalisiert sind. Somit sind sie beobachtbar und in den früheren Semestern prüfbar. Unser Bericht hat mehrere Implikationen jenseits dieser Studie selbst. Erstens bietet diese Studie ein weiteres Beispiel für die aktuelle Suche nach einer Definition von EPAs für ärztliche Berufsanfänger. Es könnte als Stimulus und Beitrag für die Definition von EPAs auf nationaler Ebene und die beabsichtigte zukünftige Weiterentwicklung des NKLMs dienen. Zweitens führte sie dazu, dass sich unserer Fakultät konkret mit der Frage beschäftigt, wie kompetenz-basierte Ausbildung mittels EPAs in der Praxis umgesetzt werden kann und stieß somit in relevantem Maße eine Fakultätsentwicklung an. Drittens wird das definierte Set an EPAs als übergeordnete Outcomes für den Medizinstudiengang implementiert werden, um Medizinstudierende besser auf die Erwartungen am Arbeitsplatz beim Berufsbeginn vorzubereiten. Um dieses Ziel zu erreichen, sollten die EPAs dazu eingesetzt werden, bestehende Lücken zu identifizieren, Lernsequenzen sinnvoll anzuordnen, das Assessment-Programm entsprechend anzupassen sowie das Lernen im Unterricht und am Arbeitsplatz im Medizinstudium besser zu verbinden. Schließlich bieten die 12 Kern-EPAs eine Grundlage für die zukünftige Ausbildungsforschung, zum Beispiel zu der Frage, wie gut unsere Absolventen auf die professionellen Kern-Tätigkeiten am Berufsbeginn vorbereitet sind. Diese Arbeit hat Limitationen. Hinsichtlich der Expertengruppe kann es zu einem Selektionsbias gekommen sein, da eine Subgruppe der Fakultät zum Teilnehmen eingeladen war. Darüber hinaus waren ärztliche Berufsanfänger selbst, die eine wichtige Quelle für eine Inhaltsvalidierung wären, nicht in der Studie vertreten. Eine weitere Limitation ist, dass keine Leistungserwartungen für einen engeren Aufsichtsgrad bei speziellen Patientengruppen operationalisiert wurden. Die Übertragbarkeit der definierten EPAs auf Fakultäten mit abweichender Praxis am Arbeitsplatz ist zudem begrenzt. 5. ConclusionsIn conclusion, this study reports on the results of defining 12 core EPAs for entry into residency at the level of “act with distant supervision” by Charité faculty members. This report aims to provide support and encouragement to other medical schools considering the implementation of EPAs in their curricula. 5. FazitDiese Studie berichtet über die Ergebnisse eines Prozesses, in dem 12 Kern-EPAs für den ärztlichen Berufsbeginn mit dem Aufsichtsgrad „unter entfernter Aufsicht handeln“ durch Fakultätsmitglieder der Charité definiert wurden. Ziel dieses Berichts ist es, Unterstützung und Anregungen für andere medizinischen Fakultäten zu bieten, die eine Implementierung von EPAs in ihr Curriculum beabsichtigen. AnmerkungAus Gründen einer besseren Lesbarkeit wird die männliche Form verwendet. Es sind jedoch stets beide Geschlechter gemeint. AcknowledgementsWe would like to thank all participating faculty members for their valuable input, constructive feedback and exceptional commitment. We would also like to thank the WATCHME team for the discussions on the EPA concept and its application. The exchange substantially contributed to our process and results of developing EPAs. DanksagungWir möchten allen teilnehmenden Fakultätsmitgliedern für ihr Mitwirken, konstruktives Feedback sowie beispielhaftes Engagement bedanken. Darüber hinaus möchten wir uns bei dem WATCHME-Team für die Diskussionen über das EPA-Konzept und seine Anwendung bedanken. Der Austausch hat erheblich zu unserem Prozess und den resultierenden EPAs beigetragen. FundingThe study was funded as part of the initiative “Bologna – Zukunft der Lehre” by the foundation “Stiftung Mercator and Volkswagen Stiftung”; the “European Union’s Seventh Framework Programme for research, technological development and demonstration” under grant agreement 619349 (WATCHME Project); and the initiative “Hochschulpakt MSM 2.0 “Modellstudiengang Medizin 2.0” (01PL16036)” by the foundation “Bundesministerium für Bildung und Forschung”. FörderungDiese Studie wurde als Teil der Initiative „Bologna – Zukunft der Lehre” der Stiftung Mercator und Volkswagen Stiftung finanziert. Desweiteren wurde sie durch das „European Union’s Seventh Framework Programme for research, technological development and demonstration“, grant agreement 619349 (WATCHME Project) und der Initiative „Hochschulpakt MSM 2.0 „Modellstudiengang Medizin 2.0“ (01PL16036)“ des Bundesministeriums für Bildung und Forschung gefördert. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Carraccio CL Englander R From Flexner to competencies: reflections on a decade and the journey ahead 2013 Acad Med 1067-1073 Carraccio CL, Englander R. From Flexner to competencies: reflections on a decade and the journey ahead. Acad Med. 2013;88(8):1067-1073. DOI: 10.1097/ACM.0b013e318299396f http://dx.doi.org/10.1097/ACM.0b013e318299396f Carraccio C Englander R Van Melle E Ten Cate O Lockyer J Chan MK Frank JR Snell LS International Competency-Based Medical Education C. Advancing Competency-Based Medical Education: A Charter for Clinician-Educators 2016 Acad Med 645-649 Carraccio C, Englander R, Van Melle E, Ten Cate O, Lockyer J, Chan MK, Frank JR, Snell LS. International Competency-Based Medical Education C. Advancing Competency-Based Medical Education: A Charter for Clinician-Educators. Acad Med. 2016;91(5):645-649. DOI: 10.1097/ACM.0000000000001048 http://dx.doi.org/10.1097/ACM.0000000000001048 Ten Cate O Scheele F Competency-based postgraduate training: can we bridge the gap between theory and clinical practice? Acad Med 2007 Ten Cate O, Scheele F. Competency-based postgraduate training: can we bridge the gap between theory and clinical practice? Acad Med. 2007;82(6):542-547. DOI: 10.1097/ACM.0b013e31805559c7 http://dx.doi.org/10.1097/ACM.0b013e31805559c7 Ten Cate O Chen HC Hoff RG Peters H Bok H van der Schaaf M Curriculum development for the workplace using Entrustable Professional Activities (EPAs): AMEE Guide No. 99 2015:37(11) Med Teach 983-1002 Ten Cate O, Chen HC, Hoff RG, Peters H, Bok H, van der Schaaf M. Curriculum development for the workplace using Entrustable Professional Activities (EPAs): AMEE Guide No. 99. Med Teach. 2015:37(11):983-1002. DOI: 10.3109/0142159X.2015.1060308 http://dx.doi.org/10.3109/0142159X.2015.1060308 Berberat PO Harendza S Kadmon M Gesellschaft für Medizinische Ausbildung GMA-Ausschuss für Weiterbildung Entrustable Professional Activities - Visualization of Competencies in Postgraduate Training. Position Paper of the Committee on Postgraduate Medical Training of the German Society for Medical Education (GMA) 2013 GMS Z Med Ausbild Doc47 Berberat PO, Harendza S, Kadmon M; Gesellschaft für Medizinische Ausbildung, GMA-Ausschuss für Weiterbildung. Entrustable Professional Activities - Visualization of Competencies in Postgraduate Training. Position Paper of the Committee on Postgraduate Medical Training of the German Society for Medical Education (GMA). GMS Z Med Ausbild. 2013;30(4):Doc47. DOI: 10.3205/zma000890 http://dx.doi.org/10.3205/zma000890 Kadmon M Ten Cate O Harendza S Berberat P Postgraduate Medical Education – an increasingly important focus of study and innovation 2017 GMS J Med Educ Doc70 Kadmon M, Ten Cate O, Harendza S, Berberat P. Postgraduate Medical Education – an increasingly important focus of study and innovation. GMS J Med Educ. 2017;34(5):Doc70. DOI: 10.3205/zma001147 http://dx.doi.org/10.3205/zma001147 Holzhausen Y Maaz A Peters H Anvertraubare professionelle Tätigkeiten in der PJ-Ausbildung 2014 Chirurg 345-346 Holzhausen Y, Maaz A, Peters H. Anvertraubare professionelle Tätigkeiten in der PJ-Ausbildung. Chirurg. 2014;85(4):345-346. DOI: 10.1007/s00104-014-2735-9 http://dx.doi.org/10.1007/s00104-014-2735-9 Chen HC van den Broek WE ten Cate O The case for use of entrustable professional activities in undergraduate medical education 2015 Acad Med 431-436 Chen HC, van den Broek WE, ten Cate O. The case for use of entrustable professional activities in undergraduate medical education. Acad Med. 2015;90(4):431-436. DOI: 10.1097/ACM.0000000000000586 http://dx.doi.org/10.1097/ACM.0000000000000586 Englander R Flynn T Call S Carraccio C Cleary L Fulton TB Garrity MJ Lieberman SA Lindeman B Lypson ML Minter RM Rosenfield J Thomas J Wilson MC Aschenbrener CA Toward Defining the Foundation of the MD Degree: Core Entrustable Professional Activities for Entering Residency 2016 Acad Med 1352-1358 Englander R, Flynn T, Call S, Carraccio C, Cleary L, Fulton TB, Garrity MJ, Lieberman SA, Lindeman B, Lypson ML, Minter RM, Rosenfield J, Thomas J, Wilson MC, Aschenbrener CA. Toward Defining the Foundation of the MD Degree: Core Entrustable Professional Activities for Entering Residency. Acad Med. 2016;91(10):1352-1358. DOI: 10.1097/ACM.0000000000001204 http://dx.doi.org/10.1097/ACM.0000000000001204 The Association of Faculties of Medicine of Canada 2016 AFMC Entrustable professional activities for the transition from medical school to residency The Association of Faculties of Medicine of Canada. AFMC Entrustable professional activities for the transition from medical school to residency. Toronto: The Association of Faculties of Medicine of Canada; 2016. Zugänglich unter/available from: https://afmc.ca/medical-education/entrustable-professional-activitiesepas https://afmc.ca/medical-education/entrustable-professional-activitiesepas Michaud PA Jucker-Kupper P The Profiles Working G The "Profiles" document: a modern revision of the objectives of undergraduate medical studies in Switzerland 2016 Swiss Med Wkly w14270 Michaud PA, Jucker-Kupper P, The Profiles Working G. The "Profiles" document: a modern revision of the objectives of undergraduate medical studies in Switzerland. Swiss Med Wkly. 2016;146:w14270. Ten Cate O Graafmans L Posthumus I Welink L van Dijk M The EPA-based Utrecht undergraduate clinical curriculum: Development and implementation 2018 Med Teach 1-8 Ten Cate O, Graafmans L, Posthumus I, Welink L, van Dijk M. The EPA-based Utrecht undergraduate clinical curriculum: Development and implementation. Med Teach. 2018:1-8. DOI: 10.1080/0142159X.2018.1435856 http://dx.doi.org/10.1080/0142159X.2018.1435856 Kadmon M Ganschow P Gillen S Hofmann HS Braune N Johannink J Kühn P Buhr HJ Berberat PO The competent surgeon. Bridging the gap between undergraduate final year and postgraduate surgery training 2013 Chirurg 859-868 Kadmon M, Ganschow P, Gillen S, Hofmann HS, Braune N, Johannink J, Kühn P, Buhr HJ, Berberat PO. The competent surgeon. Bridging the gap between undergraduate final year and postgraduate surgery training. Chirurg. 2013;84(10):859-868. DOI: 10.1007/s00104-013-2531-y http://dx.doi.org/10.1007/s00104-013-2531-y Jonker G Hoff RG Max S Kalkman CJ ten Cate O Connecting undergraduate and postgraduate medical education through an elective EPA-based transitional year in acute care: an early project report 2017 GMS J Med Educ Doc64 Jonker G, Hoff RG, Max S, Kalkman CJ, ten Cate O. Connecting undergraduate and postgraduate medical education through an elective EPA-based transitional year in acute care: an early project report. GMS J Med Educ. 2017;34(5):Doc64. DOI: 10.3205/zma001141 http://dx.doi.org/10.3205/zma001141 Peters H Holzhausen Y Boscardin C Ten Cate O Chen HC Twelve tips for the implementation of EPAs for assessment and entrustment decisions 2017 Med Teach 802-807 Peters H, Holzhausen Y, Boscardin C, Ten Cate O, Chen HC. Twelve tips for the implementation of EPAs for assessment and entrustment decisions. Med Teach. 2017;39(8):802-807. DOI: 10.1080/0142159X.2017.1331031 http://dx.doi.org/10.1080/0142159X.2017.1331031 Chen HC McNamara M Teherani A Cate OT O'Sullivan P Developing Entrustable Professional Activities for Entry Into Clerkship 2016 Acad Med 247-255 Chen HC, McNamara M, Teherani A, Cate OT, O'Sullivan P. Developing Entrustable Professional Activities for Entry Into Clerkship. Acad Med. 2016;91(2):247-255. DOI: 10.1097/ACM.0000000000000988 http://dx.doi.org/10.1097/ACM.0000000000000988 Ten Cate O Nuts and bolts of entrustable professional activities 2013 J Grad Med Educ 157-158 Ten Cate O. Nuts and bolts of entrustable professional activities. J Grad Med Educ. 2013;5(1):157-158. DOI: 10.4300/JGME-D-12-00380.1 http://dx.doi.org/10.4300/JGME-D-12-00380.1 Maaz A Hitzblech T Arends P Degel A Ludwig S Mossakowski A Mothes R Breckwoldt J Peters H Moving a mountain: Practical insights into mastering a major curriculum reform at a large European medical university 2018 Med Teach 1-8 Maaz A, Hitzblech T, Arends P, Degel A, Ludwig S, Mossakowski A, Mothes R, Breckwoldt J, Peters H. Moving a mountain: Practical insights into mastering a major curriculum reform at a large European medical university. Med Teach. 2018:1-8. DOI: 10.1080/0142159X.2018.1440077 http://dx.doi.org/10.1080/0142159X.2018.1440077 Fischer MR Bauer D Mohn K Projektgruppe NKLM Finally finished! National Competence Based Catalogues of Learning Objectives for Undergraduate Medical Education (NKLM) and Dental Education (NKLZ) ready for trial 2015 GMS Z Med Ausbild Doc35 Fischer MR, Bauer D, Mohn K; Projektgruppe NKLM. Finally finished! National Competence Based Catalogues of Learning Objectives for Undergraduate Medical Education (NKLM) and Dental Education (NKLZ) ready for trial. GMS Z Med Ausbild. 2015;32(3):Doc35. DOI: 10.3205/zma000977 http://dx.doi.org/10.3205/zma000977 Frank JR 2005 The CanMEDS 2005 physician competency framework: better standards, better physicians, better care Frank JR. The CanMEDS 2005 physician competency framework: better standards, better physicians, better care. Ottawa, Ontario: Royal College of Physicians and Surgeons of Canada; 2005. Holzhausen Y Maaz A Renz A Bosch J Peters H How to define core entrustable professional activities for entry into residency? 2018 BMC Med Educ Holzhausen Y, Maaz A, Renz A, Bosch J, Peters H. How to define core entrustable professional activities for entry into residency? BMC Med Educ. 2018. DOI: 10.1186/s12909-018-1159-5 http://dx.doi.org/10.1186/s12909-018-1159-5 Lynn MR Determination and quantification of content validity 1986 Nurs Res 382-385 Lynn MR. Determination and quantification of content validity. Nurs Res. 1986;35(6):382-385. DOI: 10.1097/00006199-198611000-00017 http://dx.doi.org/10.1097/00006199-198611000-00017 Holzhausen Y Maaz A Cianciolo AT Ten Cate O Peters H Applying occupational and organizational psychology theory to entrustment decision-making about trainees in health care: a conceptual model 2017 Perspect Med Educ 119-126 Holzhausen Y, Maaz A, Cianciolo AT, Ten Cate O, Peters H. Applying occupational and organizational psychology theory to entrustment decision-making about trainees in health care: a conceptual model. Perspect Med Educ. 2017;6(2):119-126. DOI: 10.1007/s40037-017-0336-2 http://dx.doi.org/10.1007/s40037-017-0336-2 Damodaran A Shulruf B Jones P Trust and risk: a model for medical education 2017 Med Educ 892-902 Damodaran A, Shulruf B, Jones P. Trust and risk: a model for medical education. Med Educ. 2017;51(9):892-902. DOI: 10.1111/medu.13339 http://dx.doi.org/10.1111/medu.13339 Ten Cate O Hart D Ankel F Busari J Englander R Glasgow N Holmboe E Iobst W Lovell E Snell LS Touchie C Van Melle E Wycliffe-Jones K International Competency-Based Medical Education Collaborators Entrustment Decision Making in Clinical Training 2016 Acad Med 191-198 Ten Cate O, Hart D, Ankel F, Busari J, Englander R, Glasgow N, Holmboe E, Iobst W, Lovell E, Snell LS, Touchie C, Van Melle E, Wycliffe-Jones K; International Competency-Based Medical Education Collaborators. Entrustment Decision Making in Clinical Training. Acad Med. 2016;91(2):191-198. DOI: 10.1097/ACM.0000000000001044 http://dx.doi.org/10.1097/ACM.0000000000001044 11en1de

22en2de

33en3de

44en4de

4 0 0 1 1en 1de Entrustable Professional Activities for entry into residency Entrustable Professional Activities für den ärztlichen Berufsbeginn 1