zma00134510.3205/zma001345urn:nbn:de:0183-zma0013450articleArtikelDevelopment and validation of a postgraduate anaesthesiology core curriculum based on Entrustable Professional Activities: a Delphi studyEntwicklung und Validierung eines EPA-basierten Weiterbildungscurriculums im Bereich der Anästhesiologie: Eine Delphi-StudieMoll-KhosrawiMoll-KhosrawiParisaP
Universitätsklinik Hamburg Eppendorf, Klinik- und Poliklinik für Anästhesiologie, Martinistr. 52, D-20246 Hamburg, Germany, Phone: +49 (0)40/7410-18364, Fax: +49 (0)40/7410-44693Universitätsklinik Hamburg Eppendorf, Klinik- und Poliklinik für Anästhesiologie, Hamburg, Germany
Universitätsklinik Hamburg Eppendorf, Klinik- und Poliklinik für Anästhesiologie, Martinistr. 52, 20246 Hamburg, Deutschland, Tel.: +49 (0)40/7410-18364, Fax: +49 (0)40/7410-44693Universitätsklinik Hamburg Eppendorf, Klinik- und Poliklinik für Anästhesiologie, Hamburg, Deutschlandpmollkho@icloud.comauthorGanzhornGanzhornAlexanderAUniversitätsklinik Hamburg Eppendorf, Klinik- und Poliklinik für Anästhesiologie, Hamburg, GermanyUniversitätsklinik Hamburg Eppendorf, Klinik- und Poliklinik für Anästhesiologie, Hamburg, DeutschlandauthorZöllnerZöllnerChristianCUniversitätsklinik Hamburg Eppendorf, Klinik- und Poliklinik für Anästhesiologie, Hamburg, GermanyUniversitätsklinik Hamburg Eppendorf, Klinik- und Poliklinik für Anästhesiologie, Hamburg, DeutschlandauthorSchulte-UentropSchulte-UentropLeonieLUniversitätsklinik Hamburg Eppendorf, Klinik- und Poliklinik für Anästhesiologie, Hamburg, GermanyUniversitätsklinik Hamburg Eppendorf, Klinik- und Poliklinik für Anästhesiologie, Hamburg, DeutschlandauthorGerman Medical Science GMS Publishing House
Düsseldorf
610core curriculumanaestheticscurriculumpostgraduateKerncurriculumAnästhesieCurriculumPostgraduelle WeiterbildungEntrustable Professional ActivitiesAnvertraubare Professionelle Tätigkeiten20200105202006092020072120200915englgermThis is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License.Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung).2366-5017375GMS Journal for Medical EducationGMS J Med Educ52Hintergrund: Postgraduelle Weiterbildungscurricula sollten sich weder an Zeiten, noch an vorgegebenen Richtzahlen von durchgeführten Prozeduren orientieren. Ein vielversprechender Ansatz, um kompetenzbasierte Curricula in den klinischen Alltag zu integrieren, ist das Konzept der Entrustable Professional Activities (EPA). Methode: Die Teilnehmer dieser monozentrischen Querschnittsstudie waren Anästhesiologen verschiedener Ausbildungsgrade. Im ersten Schritt wurde durch eine Expertengruppe eine vorläufige Liste von EPAs definiert. Im Anschluss wurde die erste Delphi-Runde (N=47 Teilnehmer) durchgeführt, um alltägliche anästhesiologische Tätigkeiten zu identifizieren. Aus den Ergebnissen der ersten Delphi-Runde wurde durch die Mapping-Methode und durch eine Template-Analyse eine weitere Liste an EPAs definiert. Diese Liste wurde den Studienteilnehmern in einer zweiten Delphi-Runde (N=80 Teilnehmer) mit dem Ziel präsentiert, jede EPA zu validieren, eine Reihung vorzunehmen und das Jahr, in welchem diese anvertraut werden sollte, zu definieren. Dazu wurden die Teilnehmer in der zweiten Runde zu jeder EPA befragt, ob diese Teil eines anästhesiologischen Kerncurriculums sein sollte und in welchem Jahr der Weiterbildung diese anvertraubar sein sollte. Desweiteren wurden die Teilnehmer gebeten, jede EPA auf einer numerischen Skala hinsichtlich ihrer Relevanz zu bewerten. Aus den Ergebnissen der numerischen Skala wurde der Content Validity Index (CVI) berechnet. Die Übereinstimmung der Ergebnisse in der zweiten Delphi-Runde wurde untersucht, indem das Paneldatenmodell angewendet wurde, um die Intraklassen-Korrelation (ICC) zu berechnen. Weiterhin wurde die prozentuale Übereinstimmung zwischen den EPAs dieser Studie und bereits publizierten EPAs berechnet. Ergebnisse: Ein Kerncurriculum bestehend aus 39 EPAs wurde entwickelt. Die EPAs wurden entsprechend ihrer Relevanz in eine hoch und niedrig bewertete Gruppe unterteilt. Ferner wurde das Weiterbildungsjahr festgelegt, in welchem die EPAs anvertraut werden sollten. Die Ergebnisse zeigten eine hohe Übereinstimmung in den unterschiedlichen Gruppen von Anästhesisten (der CVI als Maß für die Zustimmung betrug 0.96 für die EPAs und 0.83 für das Ausbildungsjahr, in welchem die EPA anvertraut werden sollte). Die Übereinstimmung mit den publizierten EPAs betrug 73.3%. Schlussfolgerung: Diese Studie ist ein weiterer Schritt, um die postgraduelle anästhesiologische Weiterbildung zeitgemäß zu strukturieren. Weitere Untersuchungen sind notwendig, um dieses EPA basierte anästhesiologische Kerncurriculum zu vervollständigen und anzupassen. Background: Postgraduate training curricula should not be based on time-spans or predefined numbers of performed procedures. One approach to link competencies to clinical tasks is the concept of Entrustable Professional Activities (EPA). The goal of this study was the definition, ranking and validation of EPAs for anaesthesiology postgraduate training and the creation of an anaesthesiologic core curriculum. Methods: Anaesthesiologists of different levels of training participated in the study (single-center, cross-sectional) . First, an expert group defined a preliminary list of EPAs. Then a first Delphi round (n= 47 participants) was applied to identify daily anaesthesiology tasks with the goal to define EPAs. From the first Delphi round a new set of EPAs was defined, using the template and mapping method. Through an alignment process, conducted by the expert group, the preliminary EPAs and the new set of EPAs from the first Delphi round were summarised into a new list of EPAs. This list was presented to the study participants in a second Delphi round (n=80 participants), with the goal to validate and rank each EPA and to define the year of entrustment. For this purpose, participants were asked in the second Delphi round if each EPA should be included into an anaesthesiology core curriculum and in which year of training entrustment should take place. Furthermore, they were asked to rank each EPA on a numeric scale, defining its importance. From this numeric scale, the content validity index (CVI) for each EPA was calculated.Consensus of the results from the second Delphi round was calculated, using the one-way random effects model to calculate Intra-Class-Correlations (ICC). Percentages of agreement among the whole set of EPAs of this study and a previously published set of EPAs were computed.Results: A core-curriculum comprising of 39 EPAs was developed. The EPAs were subdivided into superior/high and inferior/low scoring EPAs, reflecting their importance and were mapped to the year of entrustment. The results reached high consensus among the different participating anaesthesiologist groups (overall agreement was 0.96 for the CVI of each EPA and 0.83 for the year in which the EPAs should be entrusted). Agreement with the previously defined set of EPAs was 73.3%.Conclusion: This study provides a further step in transforming postgraduate anaesthesiology training into a more contemporary approach. Other studies are necessary to complete and amend the presented core curriculum of EPA based postgraduate anaesthesiology training. 1. BackgroundPostgraduate medical curricula are traditionally constructed dependent on time, in which trainees spend a predefined period in training and do not have to prove their competencies . Among experts, many votes emphasize competencies and request medical curricula to be not only the result of time-dependent knowledge acquisition , , . Necessary competencies in the medical sector are defined by the CanMeds framework or the framework of the US Accreditation Council for Graduate Medical Education , . These frameworks have been adopted worldwide for competency-based undergraduate and postgraduate education , .In postgraduate specialist training, programmes are advised by the German Medical Association and defined by each regional medical board . The German Medical Association amended the postgraduate anaesthesiology training guidelines, which were published in 2018 . The regional boards have not released the final version of their programmes yet and the prerequisites for specialisation are still defined by training in predefined time spans and proof of conducted clinical procedures. The aim of the amendments was to focus more on outcome-based training and therefore competencies were highlighted in the new training programmes. Yet, the broad implementation of the new competency-based training programmes might be difficult and is far from applicability in reality. This might be due to the fact, that competency-based medical education (CBME) is too theoretical and detached from daily practise and therefore competencies (descriptors of the quality of individual persons) are difficult to assess in the clinical work place , .One solution approach to bridge the gap between competencies and clinical activities is the concept of Entrustable Professional Activities (EPAs). This concept operationalises CBME by describing the work which is done in the clinical workplace and considers the required competencies. The need for EPA based curricula in undergraduate and postgraduate training has been expressed repeatedly , , .An EPA is a subject-specific task or responsibility, which encompasses several competencies, knowledge and skills, that can be fully entrusted to a trainee . An EPA must be measurable and observeable . A fully described EPA consists of seven components : Each EPA should have a precise “title”, reflecting the activity. The second component describes the “specifications and limitations“ of the activity, followed by the “relevant domains of competence“. Furhermore, the applied competency frameworks are mentioned. To clarify which knowledge, attitude and skills are expected of a trainee to carry out the EPA, the fourth component, “required experience, knowledge, skills, attitude and behavior“, is defined. As each EPA is a subject-specific task that can be fully entrusted to a trainee, prerequisites of entrustment need to be defined. This is included within the fifth component “assessment information sources to assess progress and ground a summative entrustment decision “. The fifth component also specifies which information is utilized by the supervisors to enable taking a summative entrustment decision. The sixth component describes at which stage of training entrustment for which level of supervision should be reached (1. Be present and observe, 2. Act with direct, pro-active supervision, 3. Act with indirect, re-active supervision, 4. Act with supervision not readily available, 5. Provide supervision to junior trainees). The last component of an EPA defines expiration dates of entrustment, if no preservation of competence for the EPA takes place.An example for an EPA in anaesthesiology is “Providing anaesthetic care for extensive abdominal surgery”. The defined activities should include sufficient large units of professional practice, so that entrustment of the EPA marks a significant milestone for the trainee. Furthermore, due to continuous training, entrusted activities should be considered as units of professional practise which gain complexity with increasing levels of training. Therefore, to prevent the definition of many small EPAs, small EPAs can be nested within larger EPAs (nested EPAs), or practical procedures might be integrated into EPAs as “Observeable Practise Activities“ (OPAs) , . An example for an OPA is “Insertion of a central venous line”. This practical procedure is necessary for various EPAs and must be entrusted as well , .Although EPA-based training programmes have already been developed in other special branches (e.g. in psychiatry, orthopaedic surgery, gynaecology and paediatrics) , , , , training programmes in anaesthesiology have become more competency based, but have not been built on EPAs yet , , . Only few departments have started to implement EPA based postgraduate training [https://sites.google.com/view/cbdwesternanes/list-of-epas], [https://www.anaesthesia.ie/epa/]. Jonker et al. describe EPA-based curricula in anaesthesiology in their “Agenda for development and research”, and claim that the first step should be to determine a consensus set of EPAs . To our knowledge, only the published work of Wisman-Zwarter et al. defined a list of EPAs for postgraduate anaesthesiology training by consulting programme directors of anaesthesiology, and provided an example of how an existing curriculum can be transformed into an EPA-based curriculum . Thus there is still a need to standardise curricula in anaesthesiology without just defining minimum numbers of tasks. In our single-center, cross-sectional, Delphi-based research study, we developed an EPA based core curriculum for postgraduate anaesthesiology training. Each EPA was mapped to the year of entrustment and the importance (ranking) of each EPA was defined. 1. HintergrundDie aktuelle postgraduelle Weiterbildung ist traditionellerweise zeitbasiert und verlangt die Ableistung von zeitlich definierten Abschnitten. Das Demonstrieren von Kompetenzen ist kein Meilenstein zum Erwerb der Facharztreife . Unter vielen Experten herrscht jedoch die Meinung vor, dass sich Ausbildungscurricula stärker am Erlangen von Kompetenzen orientieren sollten und nicht am zeitabhängigen Wissenszuwachs , , . Dafür notwendige medizinische Kompetenzen sind unter anderem definiert durch die CanMeds Rollen oder das Rahmenprogramm des US Accreditation Council for Graduate Medical Education (ACGME) , . Diese Rahmenprogramme wurden bereits weltweit genutzt, um sowohl studentische als auch postgraduelle, kompetenzbasierte Weiterbildungscurricula zu implementieren , . Die postgraduellen Weiterbildungsprogramme werden von der Bundesärztekammer vorgegeben und von den jeweiligen Landesärztekammern individuell umgesetzt . Die jetzige anästhesiologische Weiterbildungsordnung wurde zuletzt 2018 von der Bundesärztekammer überarbeitet und veröffentlicht . Zum aktuellen Zeitpunkt sind die Weiterbildungsordnungen der Landesärztekammern in Überarbeitung. Bisher werden als Vorraussetzung zum Erlangen der Facharztreife geleistete Zeitabschnitte in unterschiedlichen Bereichen und der Nachweis von Mindestanzahlen durchgeführter klinischer Prozeduren gefordert. Das Ziel dieser Überarbeitung war die Fokussierung auf eine ergebnisorientierte Weiterbildung. Hierbei wurden vermehrt Kompentenzen als Ausbildungsziele integriert . Bis heute ist die flächendeckende Implementierung von kompetenzbasierten Weiterbildungsprogrammen in der Praxis jedoch schwierig und mit dem klinischen Alltag schwer vereinbar. Eine Erklärung hierfür ist, dass eine kompetenzbasierte medizinische Weiterbildung (CBME) zu theoretisch und entfernt von der täglichen Routine ist. Das führt zu einer erschwerten Beurteilbarkeit von Kompetenzen (der Beschreibung der Qualität des Handelns einer individuellen Person) im Rahmen des klinischen Alltags , .Ein Ansatz, die Lücke zwischen Kompetenzen und der klinischen Tätigkeit zu schließen, ist das Konzept der Entrustable Professional Activities (EPAs). Dieses Konzept macht die CBME durch eine Beschreibung der tatsächlichen Arbeit am klinischen Arbeitsplatz und deren Verknüpfung mit den notwendigen Kompetenzen umsetzbar . Mehrfach wurde bereits der Bedarf für EPA basierte Curricula in der studentischen und postgraduellen Ausbildung aufgezeigt , , .Eine EPA ist eine aufgabenspezifische Tätigkeit oder Verantwortung, welche sowohl verschiedene Kompetenzen, als auch Wissen und Fertigkeiten beinhaltet und einem Weiterzubildenden vollständig anvertraut werden kann . Eine EPA muss sowohl messbar als auch beobachtbar sein . Eine vollständig beschriebene EPA besteht aus 7 Komponenten : Jede EPA sollte einen präzisen “Titel“ haben, welcher die Aktivität beschreibt. Der zweite Teil beschreibt die „Spezifikationen und Limitationen“ der Aktivität, gefolgt von den “relevanten Kompetenzen“. Dazu gehören ebenfalls die zugrundeliegenden kompetenzbasierten Rahmenprogramme. Um klarzustellen, welches Wissen, Auftreten und welche Fertigkeiten erwartet werden, damit ein Auszubildender die EPA durchführen kann, wurde die vierte Komponente “notwendige Erfahrung, Wissen, Fertigkeiten, Auftreten und Verhalten“ definiert. Da eine EPA eine spezifische Aufgabe beschreibt, welche vollständig anvertraut werden kann, müssen die dafür notwendigen Vorraussetzungen definiert sein. Diese finden sich in der fünften Komponente „Einschätzung der Informationsquellen, um den Fortschritt zu beurteilen und die Entscheidung, eine Tätigkeit anzuvertrauen, zu begründen“. Zudem wird spezifiziert, welche Informationen durch den Lehrenden genutzt werden können, um das Anvertrauen einer Tätigkeit zu rechtfertigen. Die sechste Komponente beschreibt, an welchem Punkt der Weiterbildung welches Level an Supervision erreicht werden sollte (1. Anwesenheit und Beobachten, 2. Handeln unter direkter Supervision, 3. Handeln unter indirekter, jederzeit verfügbarer Supervision, 4. Handeln ohne direkt verfügbare Supervision, 5. Supervision anderer Kollegen). Die letzte Komponente einer EPA definiert den Zeitpunkt, ab dem eine EPA nicht mehr anvertraut werden sollte. Sollte in diesem Zeitraum keine Maßnahmen zum Kompetenzerhalt stattgefunden haben, wird die EPA nicht anvertraut.Ein Beispiel für eine anästhesiologische EPA wäre die „Durchführung einer perioperativen anästhesiologischen Versorgung bei ausgedehnten abdominellen Operationen“. Die definierten Tätigkeiten sollten entsprechend große Teile professionellen Handelns beinhalten, damit dies ein Meilenstein in der Weiterentwicklung für den Auszubildenden darstellt. Weiterhin sollten anvertraute Tätigkeiten aufgrund des stetigen Wissenszuwachses, als ein sich stetig weiterentwickelnder und mit zunehmender Ausbildung komplexer werdender Teil des professionellen Handelns gesehen werden. Um die Definition von vielen kleinen EPAs zu verhindern, können kleine EPAs in größere EPAs eingebunden werden (sog. nested bzw. verschachtelte EPAs) oder praktische Tätigkeiten als „Observable Practise Activities“ (OPAs) in EPAs integriert werden , . Ein Beispiel für eine OPA wäre die „Anlage eines zentralen Venenkatheters“. Diese praktische Tätigkeit ist notwendig für verschiedene EPAs und muss ebenfalls anvertraut werden können , .Obwohl EPA-basierte Ausbildungsprogramme bereits in anderen Fachbereichen entwickelt wurden (z.B. Psychiatrie, Orthopädie, Gynäkologie oder Pädiatrie) , , , , fehlt es in der Anästhesiologie, trotz der zunehmenden kompetenzbasierten Ausbildung, weiter an einem EPA-basierten Curriculum , , . Bisher haben nur wenige Kliniken EPAs in ihre postgraduelle Weiterbildung implementiert [https://sites.google.com/view/cbdwesternanes/list-of-epas], [https://www.anaesthesia.ie/epa/]. Jonker et al. beschreiben in ihrer „Agenda for development and research“ ein EPA-basiertes anästhesiologisches Curriculum und fordern, dass der erste Schritt in einer Konsensbildung aus der Erstellung einer Liste an EPAs bestehen sollte . Nach aktuellem Kenntnisstand definiert die Publikation von Wisman-Zwarter et al. EPAs für die postgraduelle anästhesiologische Ausbildung, welche durch eine Befragung von anästhesiologischen Klinikdirektoren entstand. Dabei konnte gezeigt werden, dass ein existierendes Curriculum in ein auf EPAs basierendes Curriculum transformiert werden kann . In unserer monozentrischen Querschnittsstudie, welche eine Delphi-Studie beinhaltete, entwickelten wir ein EPA-basiertes Kerncurriculum für die postgraduelle anästhesiologische Weiterbildung. Jede EPA wurde einem Ausbildungsjahr zugeordnet, in welchem diese anvertraubar sein sollte und eine Reihung bezüglich der Bedeutung von jeder EPA für die Weiterbildung durchgeführt. 2. Methods2.1. Study design and study participants This study was performed at the Department of Anaesthesiology at the University Medical Center of Hamburg-Eppendorf, Germany.The design of our single-center, cross-sectional research study was a stepwise approach which included expert group analysis and the Delphi method to reach consensus among participants (see figure 1 ). Expert group analysis is a qualitative research technique that has gained broad application in medical educational research , , , , , , . The Delphi method is an iterative technique with the goal to reach group consensus and to collect expert opinion , . The expert group consisted of three researchers and clinicians of different maturity, with profound knowledge in postgraduate training. Two of them are anaesthesiology specialists (consultant, attending, both female), one of them is second year resident (male). The mean age was 33.3 years.In order to have both, the opinion of training experts of the department (consultants, supervising attendings), and of residents, all employees of the Department of Anaesthesiology (n=186) were eligible and invited to participate in the study. Data was analysed for the whole group of participants and subgroup analysis was conducted in order to detect differences between consultants, supervising attendings, regular attendings and residents of different years. The study size was defined by the number of participating employees. To prevent potential bias, members of the expert group did not participate in the Delphi study. An email explaining the study goal and providing background information on EPA was sent to all employees of the department (n=186) in April 2018. 2.2. ProcedureAn overview of the study procedure is given in figure 1 .Development of preliminary EPAs (expert group)First, the expert group analysed the current national anaesthesiology programme and outlined a preliminary list of EPAs. The EPAs were not fully described according to the 7 step-approach (AMEE Guide No.99, Ten Cate et al. ). As a first step to create an EPA based curriculum, the focus was to outline and define (precise title, step 1) daily anaesthesiology tasks, which have to be mastered during residency. The expert group made sure that the defined list of EPAs met all the necessary and realistic criteria for an EPA based curriculum and that the list of EPAs met all technical contents of the German anaesthesiology programme (provided by the German Medical Board) . This programme defines minimum requirements of anaesthesiology procedures which have to be conducted during training, like 50 insertions of central venous lines or 25 fiberoptic intubations. All technical contents were considered, while the preliminary list of EPAs was developed.Specialised pain medicine is not part of the core curriculum and therefore pain medicine was only included marginally within the preliminary list. Specific learning outcomes of intensive care medicine units (ICU) were excluded, because recent developments in the field of intensive care medicine focus on interdisciplinary patient care. Therefore, an interdisciplinary approach to define an ICU curriculum would be more effective and more representative for intensive care medicine in Germany. Delphi round 1: workplace/ job analysisAfter the definition of the preliminary EPA list the first Delphi round was conducted. The study participants were provided with background information on the aim of the study and on EPAs based on the german publication of Breckwoldt et al. . Then the participants listed possible EPAs by performing a brainstorming and analysing their daily work place. An open text box was provided to answer the question: “Analyse and name daily anaesthesiological procedures (EPAs) that a resident has to face and master“. The preliminary EPA list of the expert group was not disclosed to the study participants.The data from this first Delphi round was analysed by the expert group and EPAs were extracted. Then the expert group conducted an adaptation process, comparing the defined EPAs of the first Delphi round with the preliminary list, resulting in a new list of EPAs. This new list was the basis for the second Delphi round. This final list was piloted by a group of 10 anaesthesiologists (7 residents, 3 attendings) to evaluate the clarity and comprehensiveness of the defined EPAs. After explaining the definition of the concept and common misunderstandings about EPAs , the piloting group was asked if the defined EPAs met the criteria of being an EPA (subject-specific task or responsibility). Further, they were askey if each EPA was comprehensible and relevant for anaesthesiology training. Delphi round 2:In the second Delphi round the final list of EPAs was distributed among the study participants with the purpose of validating and ranking each EPA and defining the year of training in which entrustment (indirect supervision) should take place.For this purpose, every department member received a survey and was asked three questions to each of the EPAs:Should this EPA be included into an anaesthesiology curriculum? (Answers: “yes”, “no”)Which rank would you give to this EPA concerning its importance for the anaesthesiology curriculum? (Ranks from 4= “very important”, to 1= “not important“). In which year of residency should this EPA be conducted without direct supervision? (this question was explained with following citation: resident may act independently from supervisors only under postponed or backstage supervision = step 6 of the guidelines provided by Ten Cate [) (choices between 1st year, 2nd year, 3rd year, 4th year, 5th year, attending). Comparison of the EPAs with the EPAs published by Wisman-Zwarter et al.To provide a slight insight into whether a harmonisation of anaesthesiology training in Europe can be achieved, the final list of EPAs was compared to the list provided by the study of Wisman-Zwarter and collegues (Netherlands) .2.3. Statistical analysisThe qualitative data analysis (expert group analysis for the preliminary EPA list and the alignment process after Delphi round 1) was conducted with the template and the mapping method . (The template is presented in the supplement, see attachment 1 )Statistical analysis was performed with SPSS (version 23.0, IBM Corp., Armonk, New York, USA). For all Delphi rounds, descriptive statistics were used for mean values, standard deviations and percentages. The content validity index (CVI) of each EPA was calculated for the ranking of the Delphi round 2, in which participants graded the EPAs by their importance (1= “not important“ to 4= “very important“), reflecting the proportion of relevance . A content validity index of 0.75 or higher is considered as “excellent“ . Then, the EPAs were split into a “high ranking“ (CVI>0.75) and a “low ranking“ group (CVI<0.75) .Mean scores and SDs were calculated for each question in Delphi round 2. Consensus among the groups was calculated, using the one-way random effects model to calculate Intra-Class-Correlations (ICC) . The one-way random model was chosen, as the EPAs were rated by a random set of raters. Values of ICC below 0.40 are interpreted as poor correlation, between 0.40 and 0.59 as fair correlation, between 0.60 and 0.74 as good correlation and between 0.75 and 1.00 as excellent correlation .For comparison of our findings with the data published by Wisman-Zwarter et al. , percentages of agreement among the whole set of EPAs were computed.2. Methode2.1. Studiendesign und Teilnehmer Diese Studie wurde an der Klinik- und Poliklinik für Anästhesiologie des Universitätsklinikums Hamburg-Eppendorf in Deutschland durchgeführt.Das Design unserer monozentrischen Querschnittsstudie bestand in einem schrittweisen Ansatz, welcher Expertengruppenanalysen und die Delphi-Methode beinhaltete, um einen Konsens zwischen den Teilnehmern zu erzielen (siehe Abbildung 1 ). Expertengruppenanalysen sind eine anerkannte qualitative Forschungsmethode und werden in der medizinischen Lehrforschung häufig eingesetzt , , , , , , . Das Delphi-Verfahren ist ein mehrstufiges, systematisches Verfahren, um Konsens innerhalb einer Population zu erreichen und Expertenmeinungen zu sammeln , . Die Expertengruppe bestand aus drei Anästhesiologen verschiedener Ausbildungsniveaus mit fundierter Expertise in der postgraduellen Ausbildung. Vertreten waren zwei weibliche Teilnehmer (Ober- und Fachärztin) sowie ein männlicher Weiterbildungsassistent im zweiten Weiterbildungsjahr. Das durchschnittliche Alter betrug 33,3 Jahre. Um sowohl die Meinung der Weiterbildenden (Oberärzte/innen, aufsichtsführende Fachärzte/innen), als auch die der Weiterbildungsassistenten zu erfassen, wurden alle Angestellten der Klinik und Poliklinik für Anästhesiologie (N=186) zur Teilnahme an dieser Studie eingeladen. Die Datenauswertung erfolgte sowohl für die Angaben der gesamten Studienkohorte, als auch für die Untergruppen (Subanalyse), um Unterschiede zwischen den Angaben der Ober-, aufsichtsführenden Fach-, regulären Fach- und Assistenzärzten der unterschiedlichen Ausbildungsjahre herauszuarbeiten. Die Studiengröße ergab sich aus der Anzahl der teilnehmenden Angestellten. Um eine Verzerrung zu vermeiden, nahmen Mitglieder der Expertengruppe nicht an der Delphi-Studie teil. Vor Studienbeginn erhielten alle Angestellten (N=186) im April 2018 eine Email, welche das Ziel der Studie erläuterte und Hintergrundinformationen zu EPAs enthielt. 2.2. DurchführungEin Überblick des Studienablaufs findet sich in Abbildung 1 .Entwicklung der vorläufigen EPAs (Expertengruppe)Im ersten Schritt analysierte die Expertengruppe die aktuellen anästhesiologischen Ausbildungsprogramme und erstellte eine vorläufige Liste von EPAs. Diese EPAs waren nicht vollständig ausgearbeitet, wie in dem 7-Stufen Prozess gefordert (AMEE Guide No.99, Ten Cate et al. ). Der Fokus lag vor allem darauf, tägliche anästhesiologische Tätigkeiten, welche während der Facharztausbildung erlernt werden sollen, zu identifizieren und zu definieren (Schritt 1: Definition des Titels). Die Expertengruppe vergewisserte sich, dass alle definierten EPAs die notwendigen und realistischen Kriterien für ein EPA basiertes Kerncurriculum erfüllten und alle formalen Aspekte der deutschen anästhesiologischen Weiterbildungsordnung (Herausgegeben durch die Bundsärztekammer) beinhalteten [8]. Die Weiterbildungsordnung definiert Richtzahlen an anästhesiologischen Prozeduren, welche während der Ausbildung absolviert werden müssen, wie beispielsweise 50 Anlagen eines zentralen Venenkatheters oder 25 fiberoptische Intubationen. All diese formalen Aspekte wurden in der Entwicklung der vorläufigen EPAs berücksichtigt.Die spezielle Schmerzmedizin ist in der Weiterbildungsordnung kein Bestandteil des anästhesiologischen Kerncurriculums und deshalb nur geringfügig in der vorläufigen Liste der EPAs enthalten. Spezielle intensivmedizinische Lernziele wurden ebenfalls nicht in der Entwicklung der EPAs integriert, da sich die aktuellen Entwicklungen in der Intensivmedizin auf einen interdisziplinären Ansatz der intensivmedizinischen Patientenversorgung fokussieren. Daher wäre die interdisziplinäre Entwicklung und Definition eines entsprechenden deutschen intensivmedizinischen Curriculums ein repräsentativerer und effektiverer Ansatz.Delphi-Runde 1: Arbeitsplatz/JobanalyseIm Anschluss an die Definition der vorläufigen EPA-Liste wurde die erste Delphi-Runde durchgeführt. Die Studienteilnehmer erhielten Hintergrundinformationen bezüglich des Ziels der Studie und zu EPAs, basierend auf der deutschen Publikation von Breckwoldt et al. . Die Studienteilnehmer führten eine Arbeitsplatzanalyse (Brainstorming) durch, in dem EPAs genannt werden sollten. Dafür wurde ein Freitextfeld mit der Frage: „Welche Aktivitäten fallen Euch ein, die ein Anästhesist in der Weiterbildung durchführt?“ zur Verfügung gestellt. Die vorläufige Liste an EPAs, welche durch die Expertengruppe generiert wurde, ist den Teilnehmern nicht offengelegt worden.Die Daten der ersten Delphi-Runde wurden von der Expertengruppe analysiert und EPAs herausgefiltert. Im folgenden Anpassungsprozess verglich die Expertengruppe die aus der Delphi-Runde definierten EPAs mit denen der vorläufigen Liste und erstellte daraus eine neue Liste an EPAs (finale Liste), welche die Basis für die zweite Delphi-Runde bildete. Vor Beginn der zweiten Delphi-Runde wurde eine Testbefragung von 10 Anästhesiologen (7 Assistenzärzte und 3 Fachärzte) hinsichtlich eventueller Formulierungsdefizite und Vollständigkeit durchgeführt. Nach einer Erläuterung des Konzeptes und häufigen Missverständnissen bezüglich EPAs wurde die Testgruppe befragt, ob die definierten EPAs die Kriterien einer EPA erfüllen (aufgabenspezifische Tätigkeit oder Verantwortung) und ob sie verständlich und für die anästhesiologische Ausbildung relevant seien. Delphi-Runde 2:In der zweiten Delphi-Runde wurde die finale EPA-Liste den Studienteilnehmern mit dem Ziel vorgelegt, jede EPA zu validieren, eine Reihung bezüglich der Relevanz vorzunehmen und das Jahr zu definieren, in welchem die jeweilige EPA anvertraut (indirekte Supervision) werden sollte. Hierzu wurden die Studienteilnehmer gebeten die folgenden drei Fragen zu jeder EPA zu bearbeiten: Sollte diese EPA Bestandteil eines anästhesiologische Kerncurriculums sein? (Antwort: „ja“, „nein“)Bitte hierarchisieren Sie jede EPA hinsichtlich ihrer Relevanz innerhalb der Facharztweiterbildung. (Bewerten Sie von 0=niedrige Priorität bis 4=höchste Priorität)Bitte geben Sie an, zu welchem Zeitpunkt der Weiterbildung die EPA ohne direkte Supervision durch Fach- oder Oberarzt/ärztin anvertraut werden sollte. (Diese Frage wurde durch folgendes Zitat erklärt: Assistenten dürfen selbstständig, ohne direkt verfügbare Supervision handeln = Schritt 6 der Richtlinien von ten Cate ) (Wählen Sie aus zwischen dem 1. - 5. Weiterbildungsjahr und dem Facharztstandard (FA))Vergleich der EPAs mit den von Wisman-Zwarter et al. publizierten EPAsUm einen Einblick dahingehend zu geben, ob eine Vereinheitlichung der anästhesiologischen Weiterbildung in Europa erreicht werden kann, erfolgte der Vergleich zwischen unseren Ergebnissen und denen von Wisman-Zwarter et al. (Niederlande) .2.3. Statistische AnalyseDie qualitative Datenanalyse (Expertengruppenanalyse für die vorläufige EPA-Liste und der Anpassungsprozess nach der ersten Delphi-Runde) wurde mit der Template und Mapping Methode durchgeführt . (Die Template Vorlage findet sich im Anhang, siehe Anhang 1 )Die statistische Analyse erfolgte mit SPSS (version 23.0, IBM Corp., Armonk, New York, USA). Für alle Delphi-Runden wurden deskriptive Statistikparameter berechnet (Mittelwerte, Standardabweichung und prozentuale Anteile).Aus den Angaben der zweiten Delphi-Runde, in welcher die Teilnehmer jede EPA nach ihrer Priorität bewerten sollten (0=niedrigste Priorität bis 4=höchste Priorität), wurde der Content Validity Index (CVI) jeder EPA berechnet . Der CVI ist ein Maß für die Inhaltsvalidität und spiegelt die Relevanz der jeweiligen EPA wieder. Ein Content Validity Index von größer 0.75 wird als „ausgezeichnet“ angesehen . Die EPAs wurden auf Basis ihrer CVI in eine hoch (>0.75) und niedrig (<0.75) bewertete Gruppe unterteilt .Für jede Frage der zweiten Delphi-Runde wurden Mittelwerte und Standardabweichungen berechnet. Der Konsens innerhalb der Gruppen wurde durch die Berechnung der Intraklassen-Korrelation (ICC) bestimmt. Hierbei wurde das Paneldatenmodell mit zufälligen Effekten angewandt . Das Paneldatenmodell mit zufälligen Effekten wurde gewählt, da die EPAs durch ein zufällig ausgewähltes Kollektiv bewertet wurden. Eine ICC von <0.40 wird als schlechte Korrelation, zwischen 0.40 und 0.59 als angemessene Korrelation, zwischen 0.60 und 0.74 als gute Korrelation und zwischen 0.75 und 1.00 als ausgezeichnete Korrelation interpretiert .Für unseren Vergleich mit den Ergebnissen von Wisman-Zwarter et. al. wurde die prozentuale Übereinstimmung aller EPAs berechnet.3. Results3.1. ParticipantsFourty-seven anaesthesiologists (25% response rate) participated in the Delphi round 1 and eighty (43% response rate) in the Delphi round 2. Table 1 shows the distribution of participation over the different training levels.3.2. Development of preliminary EPAsThe preliminary list of 47 EPAs, defined by the expert group, is shown in table 2 .3.3. Delphi round 1: workplace/job analysis214 answers from the workplace analyses were assigned to be EPAs and 182 responses were identified as OPAs, nested EPAs or other clinical activities by the expert group. From the 214 answers that met the criteria to be an EPA, a total of 30 EPAs was generated (see attachment 2 ). 3.4. Alignment processAfter data analysis from Delphi round 1 was completed, the preliminary list of EPAs (n=47) was compared to the newly defined EPAs (n=30), resulting in some changes of the preliminary list. This adaptation and adjustment process, conducted by the expert group, resulted in a new list of 39 EPAs, integrating the new 30 EPAs. Some EPAs, which were not named at all or were part of another EPA, were excluded or summarised with other EPAs. Some of the EPAs were formulated very general, so they were splitted in several EPAs with a more finely granulation by the expert group.A detailed description of the alignment process is provided in the supplement (see attachment 3 ).Piloting of the final EPA listThe pilot group agreed on the importance of each EPA and stated that no relevant EPA was missing. It was confirmed that each EPA was comprehensive and met the required criteria.3.5. Delphi round 2All participants agreed on the importance of each EPA and the 39 EPAs passed to the final set of EPAs (core curriculum).The table in attachment 4 displays the content validity indices of each EPA, reflecting each EPAs` importance and dividing the EPAs into a superior/high score (23/39) and inferior/low score (16/39) group. The year of training in which participants declared the EPAs to be conducted without direct supervision is displayed.The mapping of each EPA to a year of training, calculated by the mean value of participants´ rankings, resulted in an EPA core-curriculum proposal (see figure 2 ).The consensus among the groups (reflected by ICC) for the importance of each EPA and for the year of training in which each EPA should be entrusted, reached excellent levels of agreement. The overall agreement was 0.96 for the importance of each EPA and 0.83 for the year in which the EPAs should be conducted without direct supervision. The question at which stage which EPA should be conducted without direct supervision reached high consensus levels among the subgroups (>0.94). The consensus reflecting the importance of an EPA reached lower- but anyhow still good levels of agreement, comparing the group of consultants, supervising attendings and 1st and 2nd year residents (>0.63).The levels of consensus calculated by ICC are shown in table 3 .3.6. Comparison of the 39 EPA list with the EPA list of Wisman-Zwarter et al.In a previous study, Wisman-Zwarter et al. provided a list of 45 EPAs, which was generated through a national consensus procedure involving about 70% of all Dutch anaesthesiology programme directors. Our EPA list is not transferable one-by-one to the list of Wisman-Zwarter et al. . Nevertheless, an agreement of 73.3% is noticeable. 26.6% of the list of Wisman-Zwarter et al. is not included in our EPAs due to the fact that we have excluded EPAs concerning intensive care medicine and advanced pain management.A detailed comparison of the two EPA lists is provided in the supplement (see attachment 5 ).3. Ergebnisse3.1. TeilnehmerSiebenundvierzig Anästhesisten (25% Rücklaufquote) nahmen an der ersten Delphi-Runde und achtzig (43% Rücklaufquote) an der zweiten Delphi-Runde teil. Tabelle 1 zeigt die Anzahl der Studienteilnehmer und das Jahr ihrer Weiterbildung bzw. Funktion. 3.2. Entwicklung der vorläufigen EPAsDie vorläufige Liste von 47 EPAs, definiert von der Expertengruppe, wird in Tabelle 2 dargestellt. 3.3. Delphi-Runde 1: Arbeitsplatz/Jobanalyse214 Antworten der Arbeitsplatzanalyse wurden durch die Expertengruppe als EPAs identifiziert. Hieraus wurden 30 verschiedene EPAs definiert. 182 Antworten wurden OPAs, nested (verschachtelte) EPAs oder anderen klinischen Tätigkeiten zugeordnet (siehe Anhang 2 ). 3.4. AnpassungsprozessIn einem Anpassungsprozess wurde zunächst die vorläufige Liste der EPAs (N=47) mit den neu definierten EPAs (N=30) aus der ersten Delphi-Runde verglichen. Dies resultierte in einer neuen Liste von 39 EPAs, in welche die 30 EPAs der ersten Delphi-Runde integriert wurden. Einige EPAs, welche nicht genannt wurden oder Teil einer anderer EPA waren, wurden ausgeschlossen oder mit anderen EPAs zusammengeführt. Die Formulierung einiger vorläufiger EPAs war sehr breit gehalten, weshalb sie von der Expertengruppe in kleinere EPAs mit einer genaueren Unterteilung aufgeteilt wurde. Eine detaillierte Beschreibung des Anpassungsprozesses findet sich im Anhang (siehe Anhang 3 ).Testung der finalen EPA ListeDie Testgruppe stimmte zu, dass jede EPA für die anästhesiologische Weiterbildung relevant war und keine EPA fehlen würde. Weiterhin wurde zugestimmt, dass alle EPAs verständlich seien und die notwendigen Kriterien erfüllten. 3.5. Delphi-Runde 2Alle Studienteilnehmer stimmten der Relevanz der einzelnen EPAs zu, sodass alle 39 EPAs in das Kerncurriculum übernommen werden konnten.Die Tabelle in Anhang 4 zeigt den Content Validity Index (CVI) jeder EPA. Entsprechend des CVI (Maß für die Relevanz), sind die EPAs einer hoch (23/39) und niedrig (16/39) bewerteten Gruppe zugeteilt. Das Ausbildungsjahr, in welchem die jeweilige EPA anvertraut werden sollte, ist ebenfalls dargestellt.Das hieraus resultierende Curriculum ist in Abbildung 2 dargestellt.Der Konsens zwischen den Gruppen (reflektiert durch die ICC) für die Relevanz der einzelnen EPAs (CVI) und das Weiterbildungsjahr, in welchem die EPA anvertraut werden sollte, zeigte ausgezeichnete Ergebnisse. Die allgemeine Zustimmung lag bei 0.96 bezüglich der Relevanz jeder EPA und bei 0.83 für das Ausbildungsjahr, in welchem die EPA ohne Supervision durchgeführt werden sollte. Auch in der Subgruppenanalyse wurden hohe Übereinstimmungen erreicht: Die Frage, ab welchem Ausbildungsjahr eine EPA anvertraut werden sollte, erreichte einen Wert von >0.94. Der Konsens hinsichtlich des CVI erreichte eine niedrigere, jedoch auch gute Zustimmung, mit mindestens >0.63 zwischen den Ober-/aufsichtsführenden Fachärzten und Assistenten im 1. und 2. Jahr.Die Zustimmung innerhalb der jeweiligen Gruppen, berechnet durch die ICC, sind in Tabelle 3 dargestellt3.6. Vergleich der finalen 39 EPAs mit denen von Wisman-Zwarter et al. In einer vorangegangenen Delphi-Studie präsentierten Wisman-Zwarter et al. eine Liste von 45 EPAs für die anästhesiologische Weiterbildung (Übereinstimmung 70%). Teilnehmer der Studie waren niederländische Klinikdirektoren (Anästhesiologie). Ein direkter Vergleich mit der von Wisman-Zwarter et al. erstellten Liste ist nicht möglich, jedoch stellten wir eine Übereinstimmung von 73,3% fest. Der Anteil von 26,6% von Wisman-Zwarter et al. , welcher nicht in unseren EPAs vorhanden ist, erklären wir dadurch, dass wir keine intensiv- oder schmerzmedizinischen EPAs in unser Curriculum aufgenommen haben. Ein detaillierter Vergleich beider Listen ist in den Ergänzungen zu finden (siehe Anhang 5 ).4. DiscussionIn our study, we defined a list of 39 EPAs by an expert group and a consensus procedure (Delphi method) of 80 participating anaesthesiologists of different training levels. The 39 EPAs were ranked by their importance and the years of entrustment were defined. Regarding the AMEE guideline No.99 published by ten Cate et al. , which describes curriculum development bases on EPAs (seven steps), our study only completes two steps, namely defining EPA titles (step 1) and describing the year of entrustment (step 6). The goal of our study was to make a first step towards transforming the german anaesthesiology curriculum into an EPA based curriculum. The next steps should be to validate the curriculum nationwide and conduct some adaptations. Then, the remaining steps of defining an EPA curriculum should be completed. This would lead to a better validation and greater acceptence of the curriuculum and would faciliate its implementation.A strength of our study is that the expert group consisted of consultant, attending and second year resident of the department – this diversity of the expert group was chosen to prevent potential bias. A consultant or a supervising attending might not identify problems that are perceived by residents. This fact differentiates our work from the study of Wisman-Zwarter et al., where only programme leaders participated which might have led to a partial and limited view of the subject .As Wisman et al. pointed out, acceptance of an EPA-based core-curriculum should be achieved by a broad group of stakeholders – therefore, we chose anaesthesiologists in different stages of training, like attending clinicians (functioning as educators and supervisors) and trainees, who are mostly concerned by training curricula on a daily work basis. One might argue that the Delphi round 1 was unnecessary, because the responses only lead to 30 EPAs due to a possible unfamiliarity of the study participants with the concept of EPAs. Instead, the preliminary EPA-list of the expert group could have already been discussed in the first Delphi round. To bypass the relative unfamiliarity of the participants with the concept of EPAs, they received a detailed description prior to the study and shortly prior to Delphi round 1 and verbal explanations were provided by the expert group. Taking into account that the first Delphi round of our study functioned as work-place analysis of different anaesthesiologists in different stages of training, the objection of redundancy of Delphi round 1 can be overruled. For further studies it should be considered, that the unfamiliarity of study participants with the concept of EPAs leads to time consuming data analysis and the discussion of preliminary lists might be more efficient. The analysis of the first Delphi round resulted in changes of the preliminary EPA list. An adaptation process was conducted, in which some EPAs were merged and some were subdivided into more finely granulated EPAs, resulting in a total of 39 EPAs. These adaptations were possible, without restricting the German core-curriculum of the German Medical Association (excluding learning objectives of ICU). The refining of the expert groups´ preliminary list allowed scrutinising possible core EPAs from different perspectives and therefore resulted in a more realistic depiction of every day EPAs. For example, in one adaptation step, the focus was taken away from the perioperative risk and towards the patient itself. The rationale for this merging was that for an ASA IV patient it is indeed relevant if he undergoes a whipple resection or just a cholecystectomy. Nevertheless, the trainee should be entrusted with giving care to the particular patient itself. Surgical steps and interventions, which can result in anaesthesiological interference, must also be entrusted to the trainee without focusing on the ASA classification. Participants´ agreement regarding the importance (CVI) , of each EPA and the year of training in which each EPA should be entrusted to the trainee (level IV) achieved almost excellent levels of correlation (ICC) . Only comparison of the group of supervising consultants/ attendings and first and second year residents achieved “good” (not excellent) correlation regarding the importance (CVI) of each EPA. This might be due to different perspectives on the EPAs, based on the different experience levels. The EPAs with the highest discrepancies were “Performing in-house transfers of critically ill patients”, “Providing postoperative care in the recovery room” and “Performing a premedication round (preoperative evaluation) including patient education”. One explanation might be the Dunning-Kruger effect, a cognitive bias in which the junior residents (low ability at an EPA) overestimate their ability . The junior residents might not realise the importance and possible adverse events of those activities (EPAs). The results of the second Delphi round, reflecting the year in which each EPA should be entrusted, support this theory: nearly all years of training in which entrustment should take place is stated at a lower level of training by the residents, than by the attendings and consultants. One limitation of our study is the single-center design. This might cause difficulties in using our results for support of a curriculum reform by other faculties . Furthermore, the expert group members and the study participants work at a university medical center which is a maximum care hospital that could have biased some results. For example the EPA “Providing perioperative care for patients undergoing cardiothoracic surgery“, does not reflect common anaesthesiology skills, necessary to achieve specialist qualification, as many regional hospitals do not have a cardiothoracic surgery department. Therefore, a nationwide validation of the EPA curriculum is even more important. Many faculties could contribute by conducting a similar study to a broader, maybe even international consensus. 4. DiskussionIn unserer Studie definierten wir eine Liste von 39 EPAs, welche durch eine Expertengruppenanalyse und ein Konensverfahren (Delphi-Methode) von 80 teilnehmenden Anästhesiologen verschiedener Ausbildungsgrade zustande kam. Die 39 EPAs wurden entsprechend ihrer Wichtigkeit hierarchisch geordnet und das Weiterbildungsjahr definiert, in welchem die jeweilige EPA anvertraut werden sollte. Die AMEE Guideline No.99 von Ten Cate et al. , beschreibt sieben Schritte zur Entwicklung von Curricula, basierend auf EPAs. In unserer Studie setzten wir zwei der sieben beschriebenen Schritte um. Wir definierten den Titel jeder EPA (Schritt 1) und beschrieben das Jahr, in welchem diese anvertraut werden kann (Schritt 6). Ziel unserer Studie war es zunächst, einen ersten Schritt zu leisten, um die anästhesiologische Weiterbildung mit einem EPA-basierten Curriculum zu beschreiben. In weiterer Folge sollte das Curriculum auf nationaler Ebene validiert und angepasst werden, sowie die übrigen Schritte zur Definition eines EPA-basierten Curriculums vervollständigt werden. Dies würde zu einer besseren Akzeptanz führen und die nationale Implementierung unterstützen. Eine der Stärken unserer Studie ist die heterogene Zusammensetzung der Expertengruppe, die aus einer Oberärztin, einer Fachärztin und einem Assistenten im zweiten Weiterbildungsjahr bestand. Durch die Zusammensetzung konnten wir einer potentiellen Verzerrung der Ergebnisse vorbeugen, denn häufig werden Probleme in der Weiterbildung von Ober- oder aufsichtsführenden Fachärzten anders wahrgenommen als von Weiterbildungsassistenten. Dies unterscheidet uns von der Arbeit von Wisman-Zwarter et al., in welcher ausschließlich Klinikdirektoren befragt wurden, was eventuell zu einer eingeschränkten Betrachtung geführt hat . Wie bereits von Wisman-Zwarter et al. angemerkt, sollte ein EPA-basiertes Curriculum von einer breiten Gruppe an Interessenvertretern akzeptiert werden. Daher inkludierten wir in unsere Studie Anästhesiologen unterschiedlicher Ausbildungsgrade und auch supervidierende Ober- und Fachärzte. Man mag einwenden, dass die erste Delphi-Runde überflüssig gewesen sei, denn es wurden lediglich 30 EPAs generiert, was an den möglicherweise mangelnden Kenntnissen über EPAs der Studienteilnehmer liegen könnte. Statt der ersten Delphi-Runde hätte gleich die Liste der EPAs aus der Expertenrunde diskutiert werden können. Um dem Problem der mangelnden Kenntnisse der Studienteilnehmer mit dem Konzept der EPAs vorwegzugreifen, erhielten diese vor Beginn der Studie und zu Beginn der ersten Delphi-Runde detaillierte Erläuterungen hinsichtlich des Konzeptes einer EPA-basierten Ausbildung, sowie weitere mündliche Erklärungen durch die Expertengruppe. Vor dem Hintergrund, dass die erste Delphi-Runde als Arbeitsplatzanalyse für die Anästhesiologen der unterschiedlichen Ausbildungsgrade diente, kann der Einwand, die erste Delphi-Runde sei redundant, entkräftet werden. Für weitere Untersuchungen sollte jedoch berücksichtigt werden, dass die Unvertrautheit der Studienteilnehmer mit dem Konzept der EPAs zu einer zeitintensiven Datenanalyse führen kann und die Diskussion einer vorläufigen Liste effizienter sein könnte.Die Analyse der ersten Delphi-Runde führte zu Veränderungen der vorläufigen Liste an EPAs. In diesem Anpassungsprozess wurden einige EPAs zusammengefasst, während andere in mehrere Teilbereiche unterteilt wurden - hierdurch entstanden insgesamt 39 EPAs. Diese Anpassungen waren möglich, ohne die Vorgaben der Weiterbildungsordnung der Bundesärztekammer (ausgeschlossen der Lernziele in der Intensivmedizin) einzuschränken. Das Präzisieren der vorläufigen Liste der Expertengruppe ermöglichte es, die jeweiligen EPAs eingehend und aus verschiedenen Blickwinkeln zu überprüfen, um eine möglichst realitätsnahe Definition von alltägliches EPAs in der Anästhesiologie zu erreichen. Ein Beispiel für eine solche Anpassung ist den Fokus vom perioperativen Risiko weg und vermehrt auf den Patienten zu lenken. Bei einem ASA IV Patienten ist die Ausdehnung der Operation durchaus relevant, dem Weiterbildungsassistenten sollte jedoch die anästhesiologische Versorgung des genannten Patienten, unabhängig von der Operation, anvertraut werden. Ebenso muss allerdings auch bei chirurgischen Eingriffen, welche einen signifikanten Einfluss auf die anästhesiologische Versorgung haben können (ohne Fokussierung auf die jeweilige ASA Klassifikation), nach dem gleichen Prinzip vorgegangen werden.Die Übereinstimmung der Studienteilnehmer bezüglich der Relevanz (CVI) , jeder EPA und dem entsprechenden Ausbildungsjahr, in welchem eine EPA anvertraut werden sollte (Level 4), erreichte fast ausschließlich ausgezeichnete Zustimmungswerte (ICC) . Einzig der Vergleich von Ober-/aufsichtsführenden Fachärzten mit den Assistenzärzten im 1. und 2. Jahr führte zu guten (nicht ausgezeichneten) Zustimmungswerten, bezüglich der Relevanz (CVI) der jeweiligen EPAs. Wir erklären dieses Ergebnis mit den verschiedenen Ausbildungsgraden und Erfahrung und den damit verbundenen Perspektiven auf die entsprechenden EPAs. Die EPAs mit der größten Diskrepanz waren „Innerklinischer Transport von Intensivpatienten“, „Postoperative Betreuung von Patienten im Aufwachraum“ und „Durchführung einer Prämedikation, Einschätzung des Bedarfs an Instrumentierung“. Eine Erklärung wäre der Dunning-Kruger-Effekt, eine kognitive Verzerrung, bei welcher der junge Assistenzarzt (niedrige Fertigkeiten in diesen EPAs) seine Fähigkeiten überschätzt und sich der Bedeutung der EPA und den schwerwiegenden Konsequenzen von Fehlern nicht bewusst ist . Die Ergebnisse der zweiten Delphi-Runde, welche unter anderem das Ausbildungsjahr beschreiben, in dem eine EPA anvertraut werden sollte, unterstützt diese Theorie: Beinahe alle angegebenen Ausbildungsjahre, in welchen das Anvertrauen stattfinden sollte, sind niedriger in der Gruppe der Assistenzärzte, als in denen der Ober- und Fachärzte.Eine Limitation unserer Studie ist das monozentrische Design, da dies zu einer geringeren Akzeptanz unserer Ergebnisse für eine Reformierung von Curricula in anderen Fakultäten führen könnte. Desweiteren sind sowohl die Teilnehmer der Expertengruppe, als auch die Studienteilnehmer an einem Haus der universitären Maximalversorgung beschäftigt, was zu einer Verzerrung der Ergebnisse geführt haben könnte. Als Beispiel wäre die EPA “Durchführung einer Allgemeinanästhesie bei kardiochirurgischen Eingriffen“ zu nennen, welche anästhesiologische Fertigkeiten beinhaltet, die nicht notwendig für die Facharztreife sind - viele Krankenhäuser besitzen gar keine herzchirurgische Abteilung. Aus diesem Grund ist eine nationale Validierung um so wichtiger und andere Fakultäten könnten mit ähnlichen Untersuchungen dazu beitragen, einen breiteren, vielleicht sogar internationalen Konsens zu bilden.5. ConclusionsOur study presents a proposed list of EPAs that describes postgraduate training in anaesthesiology. The list includes each EPAs` importance (CVI) and the anaesthesiology training year in which level IV (entrustment) should be achieved by the trainee. Further validation of the EPAs should take place by a larger number of stakeholders, including programme directors, determining a broader consensus of the EPAs. Then, each EPA should be completed based on the AMEE guideline no.99, which describes a seven-step approach for curriculum development for workplaces based on EPAs . Subsequent studies should investigate, whether anaesthesiology training in Europe can be homogenised. For a start, we found a 73.3% accordance with the results of the Dutch colleagues . Our study provides a reproducible approach of how EPA based curricula can be developed. With this study, a further step is made to transform current postgraduate anaesthesiology training to a more contemporary approach to prevent that the concept of EPAs becomes another buzzword in medicine .5. FazitUnsere Studie präsentiert eine Liste von vorgeschlagenen EPAs in der anästhesiologischen Weiterbildung. Diese beinhaltet für jede EPA die Relevanz (CVI) und das Jahr der Weiterbildung, in welchem diese anvertraubar (Level IV) sein sollte. Eine weiterführende Validierung der EPAs sollte anhand einer größeren Zielgruppe (inklusive Klinikdirektoren) stattfinden, um einen breiteren Konsens zu erzielen. Im Anschluss sollten alle EPAs auf Grundlage der AMEE Guideline no.99, welche einen Sieben-Schritte-Ansatz für die Entwicklung eines EPA-basierten Curriculums beschreibt, vervollständigt werden . Weiterführende Studien sollten untersuchen, ob die anästhesiologische Weiterbildung in Europa homogenisiert werden kann. Als Start für einen solchen Prozess fanden wir eine 73.3%ige Übereinstimmung mit den Ergebnissen unserer niederländischen Kollegen . Unsere Studie liefert einen reproduzierbaren Ansatz, wie ein EPA-basiertes Curriculum entwickelt werden kann. Hiermit ist ein weiterer Schritt zur Transformation der postgraduellen, anästhesiologischen Weiterbildung hin zu einem zeitgerechten Ansatz getan. Dadurch kann verhindert werden, dass Entrustable Professional Activities nur ein weiteres Modewort, ohne Relevanz in der Medizin, bleiben .AbbreviationsEPA: Entrustable Professional ActivityOPA: Observable Practise ActivitySD: Standard deviationMV: Mean valueCVI: Content validity indexICC: Intraclass correlationASA: American Society of AnesthesiologyYR: Year of entrustmentAbkürzungenEPA: Entrustable Professional ActivityOPA: Observable Practise ActivitySD: StandardabweichungMV: MittelwertCVI: Content Validity IndexICC: Intraklassen-KorrelationASA: American Society of AnesthesiologyYR: Jahr des AnvertrauensDeclarationsEthics approval and consent to participateThe local ethics committee of Hamburg (Ethikkommission der Ärztekammer Hamburg, Hamburg, Germany) received a detailed project description and approved the project (no necessity of appraisal). Participants declared their consent to participate by participating (this information was provided alongside the email which explained the study goal). This consent of participation by participation was included within the project description for the ethics committee and was approved. Availability of data and materialsThe datasets used and/or analysed during the current study are available from the corresponding author on reasonable request. The supplement contains nearly all data.ErklärungenEthikantrag und Einwilligung zur TeilnahmeDie Ethik-Kommission der Ärztekammer Hamburg erhielt eine detaillierte Projektbeschreibung und erteilte ihre Zustimmung zur Studie. Die Studienteilnehmer erteilten ihre Einwilligung zu Teilnahme und Datenverarbeitung durch Teilnahme an der Befragung. Diese Informationen zur Einwilligung sowie eine Studienbeschreibung waren in der Email enthalten, welche an alle potentiellen Teilnehmer versandt wurde. Dieses Prozedere (die Einwilligung der Teilnehmer durch Teilnahme an der Befragung) wurde in die Projektbeschreibung aufgenommen und von der Ethik-Kommission genehmigt.Verfügbarkeit von Daten und MaterialienDie Daten, welche in dieser Studie genutzt/analysiert wurden, sind nahezu vollständig in den Ergänzungen enthalten bzw. können von den korrespondierenden Autoren auf begründete Anfrage hin angefordert werden. Authors' contributionsAll listed authors have read and approved the manuscript.PM-K made substantial contributions to conception and design, as well as acquisition, analysis and interpretation of data. She has been involved in drafting and revising the manuscript and given final approval of the version to be published. She has been involved in drafting the manuscript and given final approval of the version to be published. She agreed to be accountable for all aspects of the work in ensuring that questions related to the accuracy or integrity of any part of the work are appropriately investigated and resolved.AG made substantial contributions to conception and design, as well as acquisition, analysis and interpretation of data. He has been involved in drafting and revising the manuscript and given final approval of the version to be published. He agreed to be accountable for all aspects of the work in ensuring that questions related to the accuracy or integrity of any part of the work are appropriately investigated and resolved.CZ made substantial contributions to conception and design, analysis and interpretation of data. He has been involved in drafting the manuscript and revising it critically for important intellectual content. He has given final approval of the version to be published. He agreed to be accountable for all aspects of the work in ensuring that questions related to the accuracy or integrity of any part of the work are appropriately investigated and resolved.LS-U made substantial contributions to acquisition of data. She has been involved in revising the manuscript critically for important intellectual content and has given final approval of the version to be published. She agreed to be accountable for all aspects of the work in ensuring that questions related to the accuracy or integrity of any part of the work are appropriately investigated and resolved.The authors Parisa Moll-Khosrawi and Alexander Ganzhorn contributed equally. Beitrag der AutorenAlle Autoren haben das Manuskript gegengelesen und der Veröffentlichung zugestimmt.PM-K leistete einen erheblichen Beitrag zur Entwicklung und Umsetzung des Projekts, der Datenerhebung sowie Analyse und Interpretation der Ergebnisse. Sie war führend an der Erstellung und kritischen Überarbeitung des Manuskripts beteiligt und gab ihre Zustimmung zur Publikation dieser Version. Sie übernimmt Verantwortung für alle Aspekte dieser Arbeit und stellte sicher, dass alle Fragen bezüglich Vollständigkeit und Korrektheit der Arbeit gewissenhaft diskutiert und geklärt wurden.AG leistete einen erheblichen Beitrag zur Entwicklung und Umsetzung des Projekts, der Datenerhebung sowie Analyse und Interpretation der Ergebnisse. Er war an der Erstellung und kritischen Überarbeitung des Manuskripts beteiligt und gab seine Zustimmung zur Publikation dieser Version. Er übernimmt Verantwortung für alle Aspekte dieser Arbeit und stellte sicher, dass alle Fragen bezüglich Vollständigkeit und Korrektheit der Arbeit gewissenhaft diskutiert und geklärt wurden.CZ leistete einen signifikanten Beitrag zur Entwicklung und Umsetzung des Projekts, sowie Analyse und Interpretation der Ergebnisse. Er war an der Erstellung des Manuskripts sowie der kritischen Überarbeitung hinsichtlich Struktur und Inhalt beteiligt und gab seine Zustimmung zur Publikation dieser Version. Er übernimmt Verantwortung für alle Aspekte dieser Arbeit und stellte sicher, dass alle Fragen bezüglich Vollständigkeit und Korrektheit der Arbeit gewissenhaft diskutiert und geklärt wurden.LS-U leistete einen signifikanten Beitrag zur Datenerhebung. Sie war beteiligt an der kritischen Überarbeitung des Manuskripts hinsichtlich Struktur und Inhalt und gab ihre Einwilligung zur Publikation dieser Version. Sie übernimmt Verantwortung für alle Aspekte dieser Arbeit und stellte sicher, dass alle Fragen bezüglich Vollständigkeit und Korrektheit der Arbeit gewissenhaft diskutiert und geklärt wurden.Die Autoren Parisa Moll-Khosrawi und Alexander Ganzhorn haben äquivalente Leistungen zu dieser Arbeit beigetragen. AcknowledgementsWe would like to thank the anaesthesiologists of the Department of Anaesthesiology, University Medical Center Hamburg Eppendorf for their participation.DanksagungWir möchten uns bei den Anästhesiologen der Klinik- und Poliklinik für Anästhesiologie des Universitätsklinikum Hamburg Eppendorf für ihre Teilnahme bedanken.Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.Frank JRSnell LSCate OTHolmboe ESCarraccio CSwing SRHarris PGlasgow NJCampbell CDath DHarden MRIobst WLong DMMungroo RRichardson DLSherbino JSilver ITaber STalbot MHarris KACompetency-based medical education: theory to practice2010Med Teach638-645Frank JR, Snell LS, Cate OT, Holmboe ES, Carraccio C, Swing SR, Harris P, Glasgow NJ, Campbell C, Dath D, Harden MR, Iobst W, Long DM, Mungroo R, Richardson DL, Sherbino J, Silver I, Taber S, Talbot M, Harris KA. Competency-based medical education: theory to practice. Med Teach. 2010;32(8):638-645. DOI: 10.3109/0142159X.2010.501190https://doi.org/10.3109/0142159X.2010.501190Carraccio CWolfsthal SDEnglander RFerentz KMartin CShifting paradigms: from Flexner to competencies2002Acad Med361-367Carraccio C, Wolfsthal SD, Englander R, Ferentz K, Martin C. Shifting paradigms: from Flexner to competencies. Acad Med. 2002;77(5):361-367. DOI: 10.1097/00001888-200205000-00003https://doi.org/10.1097/00001888-200205000-00003Green MLAagaard EMCaverzagie KJChick DAHolmboe EKane GSmith CDIobst WCharting the road to competence: developmental milestones for internal medicine residency training2009J Grad Med Educ5-20Green ML, Aagaard EM, Caverzagie KJ, Chick DA, Holmboe E, Kane G, Smith CD, Iobst W. Charting the road to competence: developmental milestones for internal medicine residency training. J Grad Med Educ. 2009;1(1):5-20. DOI: 10.4300/01.01.0003https://doi.org/10.4300/01.01.0003Boyce PSpratt CDavies MMcEvoy PUsing entrustable professional activities to guide curriculum development in psychiatry training2011BMC Med Educ96Boyce P, Spratt C, Davies M, McEvoy P. Using entrustable professional activities to guide curriculum development in psychiatry training. BMC Med Educ. 2011;11(1):96. DOI: 10.1186/1472-6920-11-96https://doi.org/10.1186/1472-6920-11-96Frank JRDanoff DThe CanMEDS initiative: implementing an outcomes-based framework of physician competencies2007Med Teach642-647Frank JR, Danoff D. The CanMEDS initiative: implementing an outcomes-based framework of physician competencies. Med Teach. 2007;29(7):642-647. DOI: 10.1080/01421590701746983https://doi.org/10.1080/01421590701746983Swing SRThe ACGME outcome project: retrospective and prospective2007Med Teach648-654Swing SR. The ACGME outcome project: retrospective and prospective. Med Teach. 2007;29(7):648-654. DOI: 10.1080/01421590701392903https://doi.org/10.1080/01421590701392903Morcke AMDornan TEika BOutcome (competency) based education: an exploration of its origins, theoretical basis, and empirical evidence2013Adv Health Sci Educ Theory Pract851-863Morcke AM, Dornan T, Eika B. Outcome (competency) based education: an exploration of its origins, theoretical basis, and empirical evidence. Adv Health Sci Educ Theory Pract. 2013;18(4):851-863. DOI: 10.1007/s10459-012-9405-9https://doi.org/10.1007/s10459-012-9405-9Ärztekammer Hamburg2015Logbuch Anästhesiolgie, WeiterbildungÄrztekammer Hamburg. Logbuch Anästhesiolgie, Weiterbildung. Hamburg: Ärztekammer; 2015. Zugänglich unter/available from: https://www.aerztekammer-hamburg.org/logbuch_fachgebiete_schwerpunkte.htmlhttps://www.aerztekammer-hamburg.org/logbuch_fachgebiete_schwerpunkte.htmlBundesärztekammer2018(Muster-)Weiterbildungsordnung 2018Bundesärztekammer. (Muster-)Weiterbildungsordnung 2018. Berlin: Bundesärztekammer; 2018. Zugänglich unter/available from: https://www.bundesaerztekammer.de/fileadmin/user_upload/downloads/pdf-Ordner/Weiterbildung/MWBO-2018.pdfhttps://www.bundesaerztekammer.de/fileadmin/user_upload/downloads/pdf-Ordner/Weiterbildung/MWBO-2018.pdfHarden RMAMEE Guide No. 14: Outcome-based education: Part 1-An introduction to outcome-based education1999Med Teach7-14Harden RM. AMEE Guide No. 14: Outcome-based education: Part 1-An introduction to outcome-based education. Med Teach. 1999;21(1):7-14. DOI: 10.1080/01421599979969https://doi.org/10.1080/01421599979969Pangaro Lten Cate OFrameworks for learner assessment in medicine: AMEE Guide No. 782013Med Teache1197-e1210Pangaro L, ten Cate O. Frameworks for learner assessment in medicine: AMEE Guide No. 78. Med Teach. 2013;35(6):e1197-e1210. DOI: 10.3109/0142159X.2013.788789https://doi.org/10.3109/0142159X.2013.788789Lurie SJMooney CJLyness JMMeasurement of the general competencies of the accreditation council for graduate medical education: a systematic review2009Acad Med301-309Lurie SJ, Mooney CJ, Lyness JM. Measurement of the general competencies of the accreditation council for graduate medical education: a systematic review. Acad Med. 2009;84(3):301-309. DOI: 10.1097/ACM.0b013e3181971f08https://doi.org/10.1097/ACM.0b013e3181971f08ten Cate OEntrustability of professional activities and competency-bases training2005Med Educ1176-1177ten Cate O. Entrustability of professional activities and competency-bases training. Med Educ. 2005;39(12):1176-1177. DOI: 10.1111/j.1365-2929.2005.02341.xhttps://doi.org/10.1111/j.1365-2929.2005.02341.xten Cate OGraafmans LPosthumus IWelink Lvan Dijk MThe EPA-based Utrecht undergraduate clinical curriculum: Development and implementation2018Med Teach506-513ten Cate O, Graafmans L, Posthumus I, Welink L, van Dijk M. The EPA-based Utrecht undergraduate clinical curriculum: Development and implementation. Med Teach. 2018;40(5):506-513. DOI: 10.1080/0142159X.2018.1435856https://doi.org/10.1080/0142159X.2018.1435856Chen HCvan den Broek WSten Cate OThe case for use of entrustable professional activities in undergraduate medical education2015Acad Med431-436Chen HC, van den Broek WS, ten Cate O. The case for use of entrustable professional activities in undergraduate medical education. Acad Med. 2015;90(4):431-436. DOI: 10.1097/ACM.0000000000000586https://doi.org/10.1097/ACM.0000000000000586Berberat POHarendza SKadmon MEntrustable professional activities-visualization of competencies in postgraduate training. Position paper of the Committee on Postgraduate Medical Training of the German Society for Medical Education (GMA)2013GMS Z Med AusbildDoc47Berberat PO, Harendza S, Kadmon M. Entrustable professional activities-visualization of competencies in postgraduate training. Position paper of the Committee on Postgraduate Medical Training of the German Society for Medical Education (GMA). GMS Z Med Ausbild. 2013;30(4):Doc47. DOI: 10.3205/zma000890https://doi.org/10.3205/zma000890ten Cate OChen HCHoff RGPeters HBok Hvan der Schaaf MCurriculum development for the workplace using entrustable professional activities (EPAs): AMEE guide no. 992015Med Teach983-1002ten Cate O, Chen HC, Hoff RG, Peters H, Bok H, van der Schaaf M. Curriculum development for the workplace using entrustable professional activities (EPAs): AMEE guide no. 99. Med Teach. 2015;37(11):983-1002. DOI: 10.3109/0142159X.2015.1060308https://doi.org/10.3109/0142159X.2015.1060308Jonker GHoff RGTen Cate OTA case for competency-based anaesthesiology training with entrustable professional activities: an agenda for development and research2015Eur J Anaesthesiol71-76Jonker G, Hoff RG, Ten Cate OT. A case for competency-based anaesthesiology training with entrustable professional activities: an agenda for development and research. Eur J Anaesthesiol. 2015;32(2):71-76. DOI: 10.1097/EJA.0000000000000109https://doi.org/10.1097/EJA.0000000000000109Warm EJMathis BRHeld JDPai STolentino JAshbrook LLee CKLee DWood SFichtenbaum CJSchauer DMunyon RMueller CEntrustment and mapping of observable practice activities for resident assessment2014J Gen Intern Med1177-1182Warm EJ, Mathis BR, Held JD, Pai S, Tolentino J, Ashbrook L, Lee CK, Lee D, Wood S, Fichtenbaum CJ, Schauer D, Munyon R, Mueller C. Entrustment and mapping of observable practice activities for resident assessment. J Gen Intern Med. 2014;29(8):1177-1182. DOI: 10.1007/s11606-014-2801-5https://doi.org/10.1007/s11606-014-2801-5Hauer KEKohlwes JCornett PHollander Hten Cate ORanji SRSoni KIobst W O'Sullivan PIdentifying entrustable professional activities in internal medicine training2013J Grad Med Educ54-59Hauer KE, Kohlwes J, Cornett P, Hollander H, ten Cate O, Ranji SR, Soni K, Iobst W O'Sullivan P. Identifying entrustable professional activities in internal medicine training. J Grad Med Educ. 2013;5(1):54-59. DOI: 10.4300/JGME-D-12-00060.1https://doi.org/10.4300/JGME-D-12-00060.1Shaughnessy AFSparks JCohen-Osher MGoodell KHSawin GLGravel Jr JEntrustable professional activities in family medicine2013J Grad Med Educ112-118Shaughnessy AF, Sparks J, Cohen-Osher M, Goodell KH, Sawin GL, Gravel Jr J. Entrustable professional activities in family medicine. J Grad Med Educ. 2013;5(1):112-118. DOI: 10.4300/JGME-D-12-00034.1https://doi.org/10.4300/JGME-D-12-00034.1Scheele FTeunissen PLuijk SVHeineman EFluit LMulder HMeininger AWijnen-Meijer MGlas GSluiter HHummer TIntroducing competency-based postgraduate medical education in the Netherlands2008Med Teach248-253Scheele F, Teunissen P, Luijk SV, Heineman E, Fluit L, Mulder H, Meininger A, Wijnen-Meijer M, Glas G, Sluiter H, Hummer T. Introducing competency-based postgraduate medical education in the Netherlands. Med Teach. 2008;30(3):248-253. DOI: 10.1080/01421590801993022https://doi.org/10.1080/01421590801993022Ringsted CØstergaard DVan der Vleuten CImplementation of a formal in-training assessment programme in anaesthesiology and preliminary results of acceptability2003Acta Anaesthesiol Scand1196-1203Ringsted C, Østergaard D, Van der Vleuten C. Implementation of a formal in-training assessment programme in anaesthesiology and preliminary results of acceptability. Acta Anaesthesiol Scand. 2003;47(10):1196-1203. DOI: 10.1046/j.1399-6576.2003.00255.xhttps://doi.org/10.1046/j.1399-6576.2003.00255.xVan Gessel EMellin-Olsen JØstergaard HTNiemi-Murola L Education and Training Standing CommitteeEuropean Board of AnaesthesiologyReanimation and Intensive CarePostgraduate training in anaesthesiology, pain and intensive care: the new European competence-based guidelines2012Eur J Anaesthesiol165-168Van Gessel E, Mellin-Olsen J, Østergaard HT, Niemi-Murola L; Education and Training Standing Committee, European Board of Anaesthesiology, Reanimation and Intensive Care. Postgraduate training in anaesthesiology, pain and intensive care: the new European competence-based guidelines. Eur J Anaesthesiol. 2012;29(4):165-168. DOI: 10.1097/EJA.0b013e32834da759https://doi.org/10.1097/EJA.0b013e32834da759AnonymThe anesthesiology milestone project2014J Grad Med Educ15-28The anesthesiology milestone project. J Grad Med Educ. 2014;6(1 Suppl 1):15-28. DOI: 10.4300/JGME-06-01s1-30https://doi.org/10.4300/JGME-06-01s1-30Wisman-Zwarter NVan Der Schaaf MTen Cate OJonker GVan Klei WAHoff RGTransforming the learning outcomes of anaesthesiology training into entrustable professional activities: a Delphi study2016Eur J Anaesthesiol559-567Wisman-Zwarter N, Van Der Schaaf M, Ten Cate O, Jonker G, Van Klei WA, Hoff RG. Transforming the learning outcomes of anaesthesiology training into entrustable professional activities: a Delphi study. Eur J Anaesthesiol. 2016;33(8):559-567. DOI: 10.1097/EJA.0000000000000474https://doi.org/10.1097/EJA.0000000000000474Hitzler RHoner AMaeder C1994Die institutionalisierte Kompetenz zur Konstruktion von WirklichkeitHitzler R, Honer A, Maeder C, editors. Die institutionalisierte Kompetenz zur Konstruktion von Wirklichkeit. Wiesbaden: VS Verlag für Sozialwissenschaften; 1994.Basch CEFocus group interview: an underutilized research technique for improving theory and practice in health education1987Health Educ Quart411-448Basch CE. Focus group interview: an underutilized research technique for improving theory and practice in health education. Health Educ Quart. 1987;14(4):411-448. DOI: 10.1177/109019818701400404https://doi.org/10.1177/109019818701400404Asbury JEOverview of focus group research1995Qual Health Res414-420Asbury JE. Overview of focus group research. Qual Health Res. 1995;5(4):414-420. DOI: 10.1177/104973239500500402https://doi.org/10.1177/104973239500500402Morgan D1997The focus group guidebookMorgan D. The focus group guidebook. Thousand Oaks: Sage publications; 1997. DOI: 10.4135/9781483328164https://doi.org/10.4135/9781483328164Zwick MMSchröter RKonzeption und Durchführung von Fokusgruppen am Beispiel des BMBF-Projekts "Übergewicht und Adipositas bei Kindern, Jugendlichen und jungen Erwachsenen als systemisches Risiko "2012Fokusgruppen in der empirischen Sozialwissenschaft24-48Zwick MM, Schröter R. Konzeption und Durchführung von Fokusgruppen am Beispiel des BMBF-Projekts "Übergewicht und Adipositas bei Kindern, Jugendlichen und jungen Erwachsenen als systemisches Risiko ". In: Schulz M, Mack B, Renn O, editors. Fokusgruppen in der empirischen Sozialwissenschaft. Wiesbaden: VS Verlag für Sozialwissenschaften; 2012. p.24-48. DOI: 10.1007/978-3-531-19397-7_2https://doi.org/10.1007/978-3-531-19397-7_2Dorussen HLenz HBlavoukos SAssessing the reliability and validity of expert interviews2005Eur Union Pol315-337Dorussen H, Lenz H, Blavoukos S. Assessing the reliability and validity of expert interviews. Eur Union Pol. 2005;6(3):315-337. DOI: 10.1177/1465116505054835https://doi.org/10.1177/1465116505054835Bogner ALittig BMenz WIntroduction: Expert interviews-An introduction to a new methodological debate2009Interviewing experts1-13Bogner A, Littig B, Menz W. Introduction: Expert interviews-An introduction to a new methodological debate. In: Bogner A, Littig B, editors. Interviewing experts. Basingstoke (UK): Palgrave Macmillian; 2009. p.1-13. DOI: 10.1057/9780230244276_1https://doi.org/10.1057/9780230244276_1Williams PLWebb CThe Delphi technique: a methodological discussion1994J Adv Nurs180-186Williams PL, Webb C. The Delphi technique: a methodological discussion. J Adv Nurs. 1994;19(1):180-186. DOI: 10.1111/j.1365-2648.1994.tb01066.xhttps://doi.org/10.1111/j.1365-2648.1994.tb01066.xDe Villiers MRDe Villiers PJKent APThe Delphi technique in health sciences education research2005Med Teach639-643De Villiers MR, De Villiers PJ, Kent AP. The Delphi technique in health sciences education research. Med Teach. 2005;27(7):639-643. DOI: 10.1080/13611260500069947https://doi.org/10.1080/13611260500069947Breckwoldt JBeckers SBreuer GMarty AEntrustable professional activities2018Anaesthesist1-6Breckwoldt J, Beckers S, Breuer G, Marty A. Entrustable professional activities. Anaesthesist. 2018:1-6. DOI: 10.1007/s00101-018-0420-yhttps://doi.org/10.1007/s00101-018-0420-yBrooks JMcCluskey STurley EKing NThe utility of template analysis in qualitative psychology research2015Qual Res Psychol202-222Brooks J, McCluskey S, Turley E, King N. The utility of template analysis in qualitative psychology research. Qual Res Psychol. 2015;12(2):202-222. DOI: 10.1080/14780887.2014.955224https://doi.org/10.1080/14780887.2014.955224Pelz CSchmitt AMeis MKnowledge Mapping als Methode zur Auswertung und Ergebnispräsentation von Fokusgruppen in der Markt-und Evaluationsforschung2004Forum Qual SozialforschPelz C, Schmitt A, Meis M. Knowledge Mapping als Methode zur Auswertung und Ergebnispräsentation von Fokusgruppen in der Markt-und Evaluationsforschung. Forum Qual Sozialforsch. 2004;5(2).Martuza VR1977Applying norm-referenced and criterion-referenced measurement in educationMartuza VR. Applying norm-referenced and criterion-referenced measurement in education. Boston: Allyn & Bacon, Incorporated; 1977.Lynn MRDetermination and quantification of content validity1986Nurs Res382-385Lynn MR. Determination and quantification of content validity. Nurs Res. 1986;35(6):382-385. DOI: 10.1097/00006199-198611000-00017https://doi.org/10.1097/00006199-198611000-00017Polit DFBeck CTOwen SVIs the CVI an acceptable indicator of content validity? Appraisal and recommendations2007Res Nurs Health459-467Polit DF, Beck CT, Owen SV. Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Res Nurs Health. 2007;30(4):459-467. DOI: 10.1002/nur.20199https://doi.org/10.1002/nur.20199Koch GG1982Intraclass correlation coefficient. Encyclopedia of statistical sciencesKoch GG. Intraclass correlation coefficient. Encyclopedia of statistical sciences. New York: John Wiley & Sons; 1982.Cicchetti DVGuidelines, criteria, and rules of thumb for evaluating normed and standardized assessment instruments in psychology1994Psychol Ass284Cicchetti DV. Guidelines, criteria, and rules of thumb for evaluating normed and standardized assessment instruments in psychology. Psychol Ass. 1994;6(4):284. DOI: 10.1037/1040-3590.6.4.284https://doi.org/10.1037/1040-3590.6.4.284Ebert TJFox CACompetency-based Education in AnesthesiologyHistory and Challenges2014Anesthesiol24-31Ebert TJ, Fox CA. Competency-based Education in AnesthesiologyHistory and Challenges. Anesthesiol. 2014;120(1):24-31. DOI: 10.1097/ALN.0000000000000039https://doi.org/10.1097/ALN.0000000000000039Dunning D2011The Dunning-Kruger effect: On being ignorant of one's own ignorance. Advances in experimental social psychology247-296Dunning D. The Dunning-Kruger effect: On being ignorant of one's own ignorance. Advances in experimental social psychology. München: Elsevier; 2011. p.247-296. DOI: 10.1016/B978-0-12-385522-0.00005-6https://doi.org/10.1016/B978-0-12-385522-0.00005-6Savoldelli GLVan Gessel EF'Entrustable professional activities': the way to go for competency-based curriculum?2016Eur J Anaesthesiol557-558Savoldelli GL, Van Gessel EF. 'Entrustable professional activities': the way to go for competency-based curriculum? Eur J Anaesthesiol. 2016;33(8):557-558. DOI: 10.1097/EJA.0000000000000472https://doi.org/10.1097/EJA.0000000000000472
11en1de
Table 1: Number and anaesthesiology training of all participants in each Delphi round
Tabelle 1: Anzahl und Weiterbildung aller Teilnehmer jeder Delphi-Runde
22en2de
Table 2: Preliminary list of EPAs
Tabelle 2: Liste der vorläufigen EPAs
33en3de
Table 3: Consensus among the group of participants
Tabelle 3: Übereinstimmung zwischen den Gruppen der Teilnehmer
311en1de
Figure 1: Study design and procedure
Abbildung 1: Studiendesign und Durchführung
22en2de
Figure 2: EPA core-curriculum proposal
Abbildung 2: EPA Kerncurriculum
2011en1deTemplate of the qualitative data analysis of Delphi round 1Vorlage für die qualitative Auswertung der 1. Delphi Runde22en2deThe 30 EPAs generated from the first Delphi roundDie 30 EPAs, generiert aus der ersten Delphi Runde33en3deAlignment process of the preliminary EPAsAnpassungsprozess der vorläufigen EPAs44en4deContent validity indices of all EPAs and the Year of indirect supervisionContent Validity Indices (CVI) aller EPAs und das Jahr der indirekten Supervision55en5deComparison of our 39 EPA list with the EPA list of Wisman-Zwarter et alVergleich unser 39 EPAs mit den EPAs von Wisman-Zwarter et al5