Ward rounds in internal medicine: Validation of an Entrustable Professional Activity (EPA) observation checklist

zma001164 10.3205/zma001164 urn:nbn:de:0183-zma0011649 article Artikel Ward rounds in internal medicine: Validation of an Entrustable Professional Activity (EPA) observation checklist Visiten in der Inneren Medizin – Validierung einer Entrustable Professional Activity (EPA) Beobachtungs-Checkliste Schmelter Schmelter Valerie V

Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, Pettenkoferstr. 8, D-80336 München, GermanyKlinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, GermanyKlinikum der Universität München, Medizinische Klinik und Poliklinik IV, München, Germany

Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, Pettenkofer Str. 8, 80336 München, DeutschlandKlinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, DeutschlandKlinikum der Universität München, Medizinische Klinik und Poliklinik IV, München, Deutschland

valerie.schmelter@campus.lmu.de author März März Esther E

Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Germany

Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland

esther.maerz@hm.edu author Adolf Adolf Christian C

Klinikum der Universität München, Medizinische Klinik und Poliklinik IV, München, Germany

Klinikum der Universität München, Medizinische Klinik und Poliklinik IV, München, Deutschland

christian.adolf@med.uni-muenchen.de author Wölfel Wölfel Teresa L. TL

Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Germany Klinikum der Universität München, Medizinische Klinik und Poliklinik IV, München, Germany

Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland Klinikum der Universität München, Medizinische Klinik und Poliklinik IV, München, Deutschland

teresa.woelfel@campus.lmu.de author Lottspeich Lottspeich Christian C

Klinikum der Universität München, Medizinische Klinik und Poliklinik IV, München, Germany

Klinikum der Universität München, Medizinische Klinik und Poliklinik IV, München, Deutschland

christian.lottspeich@med.uni-muenchen.de author Fischer Fischer Martin R. MR

Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Germany

Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland

martin.fischer@med.uni-muenchen.de author Schmidmaier Schmidmaier Ralf R

ralf.schmidmaier@med.uni-muenchen.de author German Medical Science GMS Publishing House

Düsseldorf

610 entrustable professional activity EPA internal medicine ward round observation checklist validation study Beobachtungs-Checkliste Entrustable Professional Activity EPA Innere Medizin Validierungsstudie Visite Competency Based Assessment Kompetenzorientiertes Prüfen 20171030 20180208 20180312 20180515 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 35 2 GMS Journal for Medical Education GMS J Med Educ 17 Ziel: Visiten stellen eine zentrale tägliche Aufgabe im Krankenhausalltag dar. Auf der Basis der Entrustable Professional Activity „Durchführung von Visiten in der Inneren Medizin“, die 10 Kompetenzen und 25 dazugehörige Tätigkeiten umfasst, ist das Ziel dieser Studie die Bewertung der inhaltlichen und externen Validität der Beobachtungs-Checkliste.Methode: Eine Fokusgruppendiskussion diente der inhaltlichen Validierung der Checkliste. Fünf TeilnehmerInnen bewerteten die Checkliste hinsichtlich der Vollständigkeit und Verständlichkeit. Zur Prüfung der externen Validität wurden 14 authentische Visiten aufgezeichnet. Zwei Beobachter füllten die Checkliste hinsichtlich des Auftretens bestimmter Tätigkeiten in den Videos aus.Ergebnisse: Nach einigen Anpassungen bewerteten die TeilnehmerInnen der Fokusgruppe die Checkliste, die final aus neun Kompetenzen, 25 Aktivitäten und 110 Beipielen beobachtbaren Verhaltens besteht, als umfassend. Dies bestätigte die inhaltliche Validität der Checkliste. Die externe Validität wurde im Rahmen der Betrachtung von Visitenvideos untersucht. Die Checkliste wurde als wertvolles Hilfsmitel angesehen, die die Beobachtung strukturiert. Die hohe Häufigkeit beobachteter Verhaltensweisen sowie die hohe Interrater-Reliabilität bekräftigen die externe Validität der Checkliste.Schlussfolgerung: Eine erste wissenschaftlich entwickelte umfassende Beobachtungs-Checkliste für die EPA “Durchführung einer Visite in der Inneren Medizin” wird dargestellt. Die Checkliste ist ein wertvolles Instrument, um elaboriertes Feedback im Medizinstudium und in der postgraduierten Medizin zu geben. Weitere Forschung sollte eine multi-institutionelle Validierung sowie die Differenzierung der Levels of Supervision in den Blick nehmen. Objectives: Ward rounds serve a crucial daily activity in hospitals. Building on the Entrustable Professional Activity “Conducting internal medicine ward rounds” consisting of ten competencies and 25 corresponding activities, this study aims at assessing content and external validity of an observation checklist for this EPA. Methods: A focus group aimed at content validation of the checklist. Five participants therefore evaluated it with respect to comprehensiveness and comprehensibility. To investigate external validity, 14 authentic ward rounds were video-taped and rated by two raters with the adapted observation checklist in terms of the appearance of certain activities in the videos.Results: After some adaptions, participants of the focus group agreed on a checklist consisting of nine competencies, 25 activities and 110 examples of observable behaviours supporting content validity. External validity was studied by using the observation checklist for ratings of ward round videos. The checklist was regarded as a valuable tool to structure observation. Along with the high frequencies of observed behaviour and interrater-reliability, external validity can be assumed. Conclusion: The first scientifically developed comprehensive observation checklist for the EPA conducting a ward round in internal medicine is presented. The checklist is a valuable tool for providing elaborated feedback in undergraduate and graduate medical education. Focussing on multi-institutional validation and the cut offs of the checklist to determine the levels of entrustment are recommended for future research. 1. BackgroundConducting clinical ward rounds is an important daily routine that every physician is expected to perform once he or she is graduated . Ward rounds serve two purposes: First, they constitute an encounter for the planning and evaluation of patients’ treatment in which the different professions involved in patient care see the patient , . Second, they provide an educational encounter in which clinically relevant knowledge and skills can be acquired by applying biomedical knowledge in its intended context . Possible learning goals refer to physical examination, communication with both patients and the ward round team, professionalism, diagnosis, treatment and also economic and ethical considerations in patient care , , . Thus, the participation in ward rounds contributes to preparing students for their future professional practice. Despite their importance, the educational potential of ward rounds often remains underutilized , : students rarely participate in them and report a lack of structured supervision when they do . Beyond, empirical results hint at students’ deficits in essential ward round competences, particularly as regards the competences of reviewing charts, prescribing medications, documenting treatment plans , and communication with the patient and the ward round team . With respect to the professional context of the ward round, students struggle in understanding both the ward round process and the responsibilities of ward round participants . Several explanations are provided for these shortcomings which are related to the medical staff, such as limited formal training and teaching experience in general, but also in the ward round context specifically , difficulties in integrating the different aims of ward rounds , and insecurities regarding the roles of attending students in particular . Some difficulties regarding ward rounds were intended to be reduced with the implementation of checklists that target the ward round process as such , and specific ward round competences such as communication and interprofessional teamwork . Prior attempts of developing checklists , , incorporated only few activities and targeted only specific structural aspects of the ward rounds or focused on selected competences. Most important they lack a clear theoretical concept and were not developed on a scientific basis. Our previous study was the first, that systematically explored the ten main competences for conducting a ward round. To assess these competencies content and external validation of the observation checklist was needed. A description of ward round competences referring to the concept of Entrustable Professional Activities (EPA)With our previous study , we conceptualized educational goals for ward rounds in the language of an Entrustable Professional Activity: “Conducting internal medicine ward rounds”. As such, an EPA is an instrument that enhances the decision whether or not a task can be entrusted to a trainee by differentiating five levels of required supervision reflecting the increasing responsibility a trainee gains: be present and observe, act with direct supervision, act with indirect supervision, act without supervision, and provide supervision. In the undergraduate medical education the fifth level cannot be reached but can be attempted after medical graduation.The EPA locates competences in the context of professional practice and clarifies the tasks and responsibilities of a trainee when conducting ward rounds. Besides, the EPA serves an elaborated and objective overview that provides a basis for feedback and assessment that can then be applied in both undergraduate and graduate medical education . Our previous interview study explored competences of residents and summarized corresponding activities and tasks a graduated resident with ward round responsibilities should be able to carry out . A total of 26 ward round experienced physicians and nurses representing the key professions involved in internal medicine ward rounds were interviewed. They represented the different specialisations in internal medicine and worked in hospitals of different care levels. The interviews focussed on all relevant ward round competences and activities to research the requirements of conducting ward rounds in internal medicine. From the interviews we identified ten competences relevant for conducting ward rounds in internal medicine: communication with the patient, communication with the team, diagnostic analysis and therapy planning, empathy, leadership skills, management of difficult situations and faults, organization skills, professionalism, self-management, and teaching and learning abilities. Each competence was characterized by a set of activities to depict professional practice as detailed and comprehensible as possible. On this basis, the EPA “Conducting an internal medicine ward round” was compiled.However, it remained unclear whether the EPA could be easily implemented as a feasible observation tool for the characteristics of ward rounds conducted at a university hospital. Aim of the presented projectFor this purpose, we conducted two separate validation studies aiming for both content and external validation of the EPA observation checklist to making it useful for educational purposes on ward rounds in internal medicine and for further research.The project was driven by two questions:Does the EPA observation checklist represent a comprehensive and comprehensible overview of required ward round competences and activities? Can the observation checklist be applied as comprehensive and feasible observation tool for ward rounds conducted by ward round teams? 1. HintergrundDie Durchführung von Visiten ist eine wichtige alltägliche Tätigkeit, die von ÄrztInnen nach Abschluss ihres Studiums erwartet wird . Visiten verfolgen zwei Ziele: erstens dienen sie als Möglichkeit der Planung und Bewertung der Behandlung von Patienten zu der alle daran beteiligten Professionen beitragen , . Zweitens dienen sie als Ort der Lehre und ermöglichen die Vermittlung klinisch relevanten Wissens und Fertigkeiten, indem diese in einen authentischen Kontext eingebettet sind . Mögliche Lernziele beziehen sich auf die körperliche Untersuchung, Kommunikation mit Patienten und dem Visitenteam, Professionalität, Diagnosekompetenz, die Behandlung sowie ökonomische und ethische Aspekte der Patientenversorgung , , . Die Teilnahme an Visiten trägt folglich dazu bei, Studierende auf die Anforderungen ihres späteren Arbeitsplatzes vorzubereiten. Trotz dieser Bedeutsamkeit wird das Potential der Visite für die Lehre häufig vernachlässigt , : Studierende nehmen selten an ihnen teil oder berichten von einer ungenügenden Supervision . Empirische Studien weisen zudem darauf hin, dass Studierende Defizite in essentiellen Visitenkompetenzen aufweisen, insbesondere im Bereich des Kurve lesens, Verschreibung von Medikamenten, Dokumentation von Behandlungsplänen aber auch in der Kommunikation mit Patienten und dem Visitenteam . Studierende haben außerdem Schwierigkeiten, den Visitenprozess und die Aufgaben der an der Visite beteiligten Personen zu verstehen . Hierfür werden mehrere Erklärungsansätze gegeben: ÄrztInnen haben selbst nur wenig formales Training in dem Bereich erfahren und haben allgemein wenig Lehrerfahrung. Aber auch der Visitenkontext selbst kann herausfordernd sein , und die Integration beider Ziele in die Visite erschweren , . Weiterhin ist vielen ÄrztInnen die Rolle der Studierenden in der Visite nicht klar . Einige dieser Schwierigkeiten sollten durch die Implementierung von Checklisten reduziert werden. Diese adressieren den Visitenprozess als solches , und spezifische Visitenkompetenzen, wie Kommunikation oder interprofessionelles Arbeiten im Team . Diese Checklisten umfassten jedoch nur wenige Aktivitäten und ausgewählte Kompetenzen , , . Weiterhin fehlten ihnen sowohl ein klares theoretisches Konzept, als auch eine wissenschaftliche Basis. Unsere erste Studie war die erste, in der systematisch zehn zentrale Kompetenzen, die essentiell für die Durchführung von Visiten in der Inneren Medizin sind, erfasst wurden. Auf deren Basis wurde eine Beobachtungs-Checkliste entwickelt. Zur Bewertung dieser ist eine inhaltliche und externale Validierung notwendig.Beschreibung von Visitenkompetenzen uner Bezug auf das Konzept der Entrustable Professional ActivitiesMit unserer vorangegangenen Studie konzeptualisierten wir Lehrziele für Visiten und übersetzten diese in eine Entrustable Professional Activity (EPA) „Durchführung von Visiten in der Inneren Medizin“. Eine EPA ist ein Instrument, das die Entscheidung, ob eine für die Arbeit relevante Tätigkeit einem Trainee anvertraut werden kann, fördert indem fünf Niveas notwendiger Aufsicht diferenziert werden. Diese Niveaus spiegeln die zunehmende Verantwortung, die ein Trainee übernimmt, wider: anwesend sein und beobachten, handeln unter direkter Beaufsichtigung, handeln unter indirekter Beaufsichtigung, handeln ohne Beaufsichtigung und beaufsichtigen. Das letzte Ziel ist im Medizinstudium nicht erreicht werden, sollte aber Ziel der postgraduierten Weiterbildung sein. Eine EPA kontextualisiert Kompetenzen in die berufliche Praxis und klärt Aufgaben und Verantwortungen eines Trainees bei der Durchführung von Visiten. Sie stellt einen elaborierten und objektiven Überblick dar, der die Basis für Feedback und Assessment für sowohl das Medizinstudium, als auch die Weiterbildung bietet . In unserer vorangegangenen Studie wurden visitenrelevante Kompetenzen und die dazugehörigen Tätigkeiten und Aufgaben erfasst, die ÄrztInnen nach Abschluss des Medizinstudiums ausführen können sollen . Hierfür wurden 26 ÄrztInnen und Gesundheits- und KrankenpflegerInnen mit umfangreicher Visitenerfahrung interviewt. Sie repräsentierten die verschiedenen Spezialisierungen in der Inneren Meidzin und vertraten Krankenhäuser unterschiedlicher Versorgungsstufen. Die Interviews adressierten alle relevanten Visitenkompetenzen und -tätigkeiten, um die Erfordernisse der Durchführung von Visiten in der Inneren Medizin zu ergründen. Es wurden zehn Kompetenzen erfasst, die für die Durchführung von Visiten in der Inneren Medizin relevant sind: Kommunikation mit dem Patienten, Kommunikation mit dem Team, Diagnosestellung und Therapieplanung, Empathie, Führungsqualitäten, Problemlösefähigkeit, Organisationsfähigkeit, Professionalität, Selbstmanagement und Lehr- und Lernfähigkeit. Jede Kompetenz wurde durch mehrere Aktivitäten umschrieben, um die professionelle Tätigkeit so detailliert und vollständig wie möglich zu beschreiben. Auf dieser Basis wurde die EPA „Durchführung von Visiten in der Inneren Medizin“ generiert. Es blieb jedoch unklar, ob die EPA einfach umgesetzt werden kann und ein nützliches Beobachtungsinstrument für die Charakteristika von Visiten an unserem Universitätsklinikum darstellt.Ziel des ProjektsIn diesem Hinblick wurden zwei separate Validierungsstudien durchgeführt, die die inhaltliche und externe Validität der Checkliste in den Fokus nahmen. Zwei Fragen wurden verfolgt:Stellt die EPA Beobachtungs-Checkliste einen verständlichen und vollständigen Überblick über die erforderlichen Visitenkompetenzen und -tätigkeiten dar?Kann die Beobachtungs-Checkliste als vollständiges und umsetzbares Beobachtunsinstrument angewendet werden? 2. Methods2.1. Development and content validation of the EPA checklist Transferring the EPA into an observation listTo be applicable in professional practice, the content of an EPA needs to be expanded by detailed descriptions of observable behaviour and the context for those behaviours . The original EPA “Conducting an internal medicine ward round”, which initially consisted of ten competences and 25 corresponding activities thus was further refined and complemented by a compilation of examples that made each of the 25 activities graspable and allowed a clear decision whether or not it was observable. Finally, a total of 110 exemplary behaviours were assigned to their corresponding activities and competences, contained in the original version of the EPA.Focus groupTo ensure content validity of the observation checklist, a focus group was conducted. While focus groups are often used for explorative purposes, they are also employed as a tool for (cross-) validation. Through interactions between participants, the information provided by preliminary data can, in the optimal case, be strengthened and extended .Focus group participantsThe five participants which reflected the different medical stakeholders involved in ward rounds were chosen for the focus group: four physicians working on an internal ward having work experience in both patient care and academic teaching (M=16.75; SD=11.53 years); one fourth year medical student who had already gained a substantial ward round routine build within medical studies and clerkships. Preparation for the focus group discussion within a computer-based environmentDue to the complex nature of the observation checklist, participants were given the opportunity to familiarize themselves with the content of the checklist one week ahead of the focus group. For this purpose, they were provided with access to the computer-based environment CASUS which was originally developed as learning platform for problem-based learning in medicine . On the platform, participants were informed about the theoretical background of EPAs and with the development process of the EPA “Conducting an internal medicine ward round” with a short introductory section. After the introduction, each competence with its corresponding activities and examples were presented on a separate electronic card. Focus group discussionAfter the preparation phase, the actual focus group took place. It was sub-divided into three parts: introduction phase, discussion of identified competences and activities, application opportunities of the checklist. Both the concept of EPAs and the development of the EPA “Conducting an internal medicine ward round” were recapitulated shortly. Participants were introduced to the observation checklist and the aim of the focus group procedure. They were further provided with the opportunity to ask questions. The following discussion was guided by a pre-structured discussion guideline. Questions focused on the conceptualization and structure of the observation checklist but also on the comprehensibility and appropriateness of the examples. Participants further evaluated whether the checklist as a whole serves a proper representation of ward rounds, hence, a good basis for assessing ward round practice. The final part of the focus group discussion focused on possible areas and settings of checklist application in both undergraduate and graduate education. Computer-based follow-up phase Video and audio data of the focus group were transcribed and the contributions of each participant were summarized, critically assessed and the observation checklist was refined. To verify that the adaptions made on the basis of participants’ suggestions reflect their true intentions, participants received the revised checklist through the CASUS environment. Each participant was asked to provide feedback and, if necessary, suggest further adaptions. The checklist was finalized when all participants had no further comments. The final checklist is shown in attachment 1 .2.2. External validation of the EPA checklist To assess the checklist’s external validity, it was applied for the observation of authentic video-taped ward rounds conducted by seven ward round teams on internal medicine wards at our university hospital. Preparation phase and settingTo avoid strain for real patients, standardized patients were used. Two standardized patient cases were developed by two experienced internists (CL and RS): the first case described a patient experiencing anaphylaxis and the second case comprised a patient with fever of unknown origin. The cases reflected typical diseases in internal medicine and were assumed to be solvable by internists, independent of their subspecialisation. The cases intentionally differed in their complexity to reflect the variance of ward rounds as depending on the severity of a disease. The standardized patients were trained using a detailed role script. A standardized final year medical student joined each ward round team on their daily ward and provided a short patient presentation according to a detailed script ahead of the consultation of the standardized patients.Acquisition of video dataSeven routine ward round teams from different internal medicine wards of our university hospital participated (see Table 1 ). To increase ecologic validity, the team composition and the number of team members reflected the respective daily ward practice. Some ward rounds were conducted by junior residents, others by senior residents accompanied by junior residents. Two ward round teams were additionally attended by a nurse. Table 1 shows the composition of the seven ward round teams. Along with the Declaration of Helsinki, participation based on informed consent and the ethic committee of the medical faculty approved the study. Each ward round was videotaped with two cameras (one in front of and one inside the patient’s room) including all phases of the round (preparation, preliminary discussion of a patient, patient consultation and post-processing). The teams did not receive any instructions on how to perform the ward round, but were asked to conduct the ward in the usual manner. External validation of the checklist through ratings of the videosIn a first step, two raters (VS and CA) familiarized themselves with the coding procedure referring to the checklist and the belonging coding instructions. For test evaluation, two raters independently watched two ward round videos and filled out the observation checklist sheet (see attachment 1 ) along the coding instructions. The ratings were compared, discrepancies were discussed and descriptions in the observation list were refined. The two raters independently watched all videotaped patient encounters during the ward rounds and rated all of them according to the activities listed in the EPA checklist. Whenever an exemplary behaviour characteristic for an activity was observed, the corresponding activity was considered as being observed. Accordingly, whenever a rater ticked one activity characteristic for a competence, the respective competence was considered as being observed. Whenever a competence was not required, the rater ticked the option ‘not applicable’ in the checklist. When a competency was required but not observable in a specific situation, no items were ticked. All the other exemplary behaviours listed below the not required competence were excluded from the further comparison of the ratings. Interrater-reliability was calculated across all videos resulting in a Cohen’s Kappa coefficient of 0.73 which is regarded as a sustainable agreement . 2. Methode2.1. Entwicklung und inhaltliche Validierung der EPA ChecklisteÜberführung der EPA in eine BeobachtungslisteUm die EPA für den professionellen Kontext anwendbar zu machen, musste der Inhalt der EPA zunächst um detaillierte Beschreibungen beobachtbaren Verhaltens und den Kontext dieser Verhaltensweisen ergänzt werden . Die EPA „Durchführung einer Visite in der Inneren Medizin“, die ursprünglich zehn Kompetenzen und 25 dazugehörige Tätigkeiten umfasste, wurde daher verfeinert und um eineZusammenstellung an Beispielen ergänzt. Dadurch wurden die 25 Tätigkeiten greifbar und ermöglichten eine klare Entscheidung, ob eine Tätigkeit beobachtbar sei oder nicht. Insgesamt wurden 110 exemplarische Verhaltensweisen zu den dazugehörigen Tätigkeiten und Kompetenzen zugeordnet.FokusgruppendiskussionZur Bewertung der inhaltlichen Validität der Beobachtungs-Checkliste wurde eine Fokusgruppendiskussion durchgeführt. Diese werden oft für explorative Zwecke genutzt, aber auch als Tool zur (Kreuz-)Validierung angewendet. Durch die Interaktionen zwischen den TeilnehmerInnen der Fokusgruppe können Informationen aus dem ursprünglichen Datenmaterial optimalerweise gestärkt und erweitert werden .TeilnehmerInnen an der FokusgruppeDie fünf TeilnehmerInnen repräsentierten die unterschiedlichen medizinischen Akteure an Visiten: vier Ärzte, die in der Inneren Medizin arbeiten und Berufserfahrung sowohl in der Patientenversorgung, als auch in der akademischen Lehre haben (M=16.75; SD=11.53 Jahre); eine Medizinstudentin im vierten Studienjahr, die durch ihr Studium und Famulaturen bereits umfangreiche Erfahrung mit Visiten gesammelt hat.Vorbereitung auf die Fokusgruppendiskussion mit einer Computer-Basierten PlattformAufgrund der Komplexität der Beobachtungs-Checkliste wurden den TeilnehmerInnen der Fokusgruppe die Möglichkeit gegeben, sich bereits eine Woche zuvor mit der Checkliste vertraut zu machen. Hierfür wurde ihnen der Zugang zur computer-basierten Plattform CASUS, die ursprünglich als Lernplattform für problembasiertes Lernen in der Medizin entwickelt wurde bereitgestellt. In der Online-Umgebung wurden die TeilnehmerInnen zunächst über den theoretischen Hintergrund von EPAs im Allgemeinen und über den Entwicklungsprozess der EPA „Durchführung einer Visite in der Inneren Medizin“ im Speziellen informiert. Nach dieser Einführung wurde jede Kompetenz mit ihren dazugehörigen Tätigkeiten und Beispielen auf einer separaten elektronischen Karte dargestellt.FokusgruppendiskussionNach dieser Vorbereitungsphase fand die Fokusgruppendiskussion statt. Sie war unterteilt in drei Teile: Einführungsphase, Diskussion der identifizierten Kompetenzen und Tätigkeiten, Anwendungsmöglichkeiten der Checkliste.Sowohl das EPA-Konzept als auch die Entwicklung der EPA “Durchführung einer Visite in der Inneren Medizin” wurden kurz wiederholt. Außerdem wurden den TeilnehmerInnen die Beobachtungs-Checkliste und das Ziel der Fokusgruppe vermittelt. Ihnen wurde die Möglichkeit gegeben, Rückfragen zu stellen. Die anschließende Diskussion wurde entlang eines vorstrukturierten Diskussionsleitfadens durchgeführt. Die Fragen bezogen sich auf die Konzeptualisierung und Struktur der Checkliste sowie die Verständlichkeit und Angemessenheit der Beispiele. Weiterhin bewerteten die TeilnehmerInnen, ob die Checkliste Visiten angemessen wiederspiegelt und somit eine solide Grundlage für die Bewertung dieser bildet. Der letzte Teil der Fokusgruppendiskussion widmete sich möglichen Einsatzmöglichkeiten der Checkliste sowohl im Medizinstudium als auch in der ärztlichen Weiterbildung.Computer-Basierte Follow-Up-PhaseDie Video- und Tonaufzeichnungen wurden transkribiert und die Beiträge aller TeilnehmerInnen zusammengefasst, kritisch bewertet und die Beobachtungs-Checkliste auf dieser Basis überarbeitet. Um sicherzustellen, dass die Anpassungen der Intention der TeilnehmerInnen entsprachen, wurde die überarbeitete Checkliste erneut in CASUS eingepflegt. Die TeilnehmerInnen wurden gebeten, Feedback zu dieser überarbeiteten Version zu geben und ggf. notwendige Anpassungen vorzunehmen. Nach Rückmeldung aller TeilnehmerInnen wurden die Checkliste finalisiert. Anhang 1 zeigt die finale Checkliste.2.2. Externe Validierung der EPA Beobachtungs-Checkliste Um die externe Validität der Checkliste zu bewerten, wurde sie zur Beobachtung autentischer Videoaufzeichnungen von Visiten angewendet. Die Visiten wurden von sieben Visitenteams der Inneren Medizin an unserem Universitätsklinikum durchgeführt. Vorbereitung und SettingUm echte Patienten nicht zusätzlich zu belasten, wurden standardisierte Patienten eingesetzt. Zwei standardisierte Patientenfälle wurden von zwei erfahrenen Internisten (CL und RS) entwickelt: der erste Fall stellte eine anaphylaktische Reaktion dar, und im zweiten Fall hatte ein Patient Fieber unklaren Ursprungs. Diese Fälle stellen typische Erkrankungen in der Inneren Medizin dar und es wurde angenommen, dass diese unabhängig von der Spezialisierung in der Inneren Medizin lösbar seien. Die Fälle variierten in ihrer Komplexität, um die Variation der Visite in Abhängigkeit von der Schwere einer Erkrankung abzubilden. Die standardisierten Patienten wurden anhand eines Rollenskripts trainiert. Darüber hinaus begleitete eine standardisierte Medizinstudentin im sogenannten Praktischen Jahr jedes Visitenteam und machte anhand eines standardisierten Skripts eine kurze Patientenvorstellung ehe der Patient konsultiert wurde. Dies ermöglichte allen Visitenteams eine einheitliche Informationsbasis.Aufzeichnung der VideosSieben Visitenteams unterschiedlicherSpezialisierungen der Inneren Medizin unseres Universitätsklinikums nahmen an den Videoaufzeichnungen teil (siehe Tabelle 1 ). Um ökologische Validität zu gewährleisten, entsprachen die Zusammensetzung des Teams und die Anzahl der Teammitglieder dem jeweils aktuellen Dienstplan und dem üblichen Prozedere. Einige Visiten wurden ausschließlich von AssistenzärztInnen durchgeführt, während bei anderen auch Stations- bzw. OberärztInnen anwesend waren. An den Visiten auf zwei Stationen nahm darüber hinaus Pflegepersonal teil. In Einklang mit der Deklaration von Helsinki basierte die Teilnahme an den Videoaufzeichnungen auf Freiwilligkeit und die Ethikkommission der Medizinischen Fakultät genehmigte die Studie. Jedes Visitenteam wurde von zwei Kameras gefilmt (jeweils eine vor und eine im Patientenzimmer) und alle Phasen der Visite wurden aufgezeichnet (Vorbereitung, Vorbesprechung des Patienten, Konsultation des Patienten, Nachbesprechung des Patienten). Die Visitenteams wurden gebeten, die Visiten wie gewohnt durchzuführen und erhielten darüber hinaus keine Anweisungen. Externe Validierung der Checkliste durch Ratings der VideosIn einem ersten Schritt machten sich zwei Rater (VS und CA) mit dem Kodierprozedere auf Basis der Checkliste und den Kodierregeln vertraut. Zum Test des Kodiervorgehens betrachteten sie anschließend zwei Videos und füllten die Beobachtungs-Checkliste entsprechend der Kodierregeln unabhängig voneinander aus (siehe Anhang 1 ). Die Ratings wurden verglichen, Diskrepanzen diskutiert und Beschreibungen in der Beobachtungs-Checkliste verfeinert. Anschließend betrachteten beide Rater alle aufgezeichneten Visiten und füllten die Beobachtungs-Checkliste unabhängig voneinander aus.Wenn eine für eine in der Checkliste aufgeführte Tätigkeit charakteristische Verhaltensweise beobachtet wurde, wurde diese Tätigkeit als beobachtet gekennzeichnet. Entsprechend wurde eine Kompetenz als beobachtet markiert, wenn eine dazugehörige Tätigkeit beobachtet wurde. Wenn eine Kompetenz nicht erforderlich war, wurde die Option „Nicht anwendbar“ markiert. Wenn eine Kompetenz erforderlich war, aber in einer spezifischen Situation nicht beobachtet werden konnte, wurde keine Markierung gemacht. Alle Tätigkeiten, die in der „Nicht anwendbar“-Kategorie gelistet wurden, wurden von der weiteren Analyse der Ratings ausgeschlossen. Die Interrater Reliabilität wurde über alle Videos hinweg berechnet. Es wurde ein Cohen’s Kappa Koeffizient von 0.73 erreicht, was für eine zufriedenstellende Übereinstimmung zwischen den Ratern spricht . 3. Results3.1. Content validation of the EPA observation checklist through the focus group discussionThe focus group discussion lasted 118 minutes and enabled a lively discussion in which each participant was involved and contributed his or her opinion and experience. The participants approved the observation checklist as a useful tool not only for elaborated summative and formative feedback and assessment but also for stimulating individuals’ learning and self-reflection.Participants agreed on nine of the initial competences which are appropriate to picture a typical ward and the corresponding affordances at our university hospital: communication with the patient, communication with the team and leadership skills, diagnostic process and therapy planning, empathy, management of difficult situation and faults and leadership skills, organization skills, professionalism, self-management, and teaching and learning abilities. The participants of the focus group discussion regarded the leadership skills as an important area of competence which cannot be treated separately but should be assessed in light of other ward round competences. Competences, and hence, activities, were mainly linked to team and patient communication and the management of difficult situations and faults. Participants pointed out that variations in the demonstrated competences may arise depending on the ward round goals (patient care vs. teaching), patient characteristics (e.g. personality, severity of disease) and composition of the ward round team (number and profession of participants).The participants also made adaptions in the wording and description of some activities. They agreed that the high grade of detail of the provided checklist facilitates a better understanding of the relevant competences and activities and increases the applicability as a tool for feedback and assessment. However, they indicated that this complexity may impede the intuitive application on the round. In the follow-up phase the revised version of the checklist was presented to all participants using the CASUS tool. Regarding each revised competence the respective activities and exemplary behaviours were presented. Individuals had to indicate whether or not he or she agrees on this final version. In case of disagreement, he or she was asked to provide an explanation for the respective reason. The final version of the EPA checklist is shown in attachment 1 . 3.2. External validation of the EPA checklist through observation of standardized real life ward round videos With respect to generalizability a multi-institutional validation in a real life setting would be desirable. For scientific reasons however a standardization of the work place scenario was needed. To assess the external validity of the checklist, we thus chose to videotape real life ward rounds at different hospitals on different wards with different ward round teams. An overview on the duration of the video-taped ward rounds can be seen in Table 2 .The research question was, to which extent the checklist is suitable to structure the observation of ward rounds and whether the checklist aligns with typical ward rounds. The observation checklist was applied successfully and 488 behavior patterns representing the 25 ward round activities respective nine competences were coded. Six of the competencies were observed in each ward round video irrespective of the ward round team and case characteristics. Two competences – management of difficult situations and leadership skills, self-management – and their corresponding activities could not be observed in any ward round video. Besides, three activities (trainee assigns tasks, trainee documents the patient’s medical condition, new findings and planned procedure, trainee recognizes the necessity of empathic acting in the physician-patient interaction) could only be observed in some videos. Attachment 2 provides a comprehensive overview on the frequencies of codings. The raters evaluated the checklist as a valuable guide for observation. Also, the coding rules allowed reliability of ratings. 3. Ergebnisse3.1. Inhaltliche Validierung der EPA Beobachtungs-Checkliste durch die Fokusgruppendiskussion Die Fokusgruppendiskussion dauerte 118 Minuten und ermöglichte eine lebhafte Diskussion, in die jede/r TeilnehmerIn involviert war und ihre bzw. seine Meinung und Erfahrungen einbrachte. Die TeilnehmerInnen schätzten die Checkliste als ein nützliches Hilfsmittel ein, das nicht nur elaboriertes summatives und formatives Feedback und Assessment ermöglicht, sondern auch Lernprozesse und Selbstreflexion anregt. Die TeilnehmerInnen stimmten überein, dass neun der ursprünglichen Kompetenzen eine typische Visite sowie die damit einhergehenden Anforderungen an unserem Universitätsklinikum beschreiben: Kommunikation mit dem Patienten, Kommunikation mit dem Team und Führungsqualitäten, Diagnosestellung und Therapieplanung, Empathie, Problemlösefähigkeit und Führungsqualitäten, Organisationsfähigkeit, Professionalität, Selbstmanagement und Lehr- und Lernfähigkeit. Führungsqualitäten wurden von allen TeilnehmerInnen als wichtige Kompetenzdismension angesehen, die jedoch nicht isoliert, sondern stets im Kontext mit anderen Kompetenzen betrachtet werden sollte. Diese Kompetenz und die dazugehörigen Tätigkeiten wurden daher zur Kommunikation mit dem Patienten und dem Team sowie zur Problemlösefähigkeit zugeordnet. Die TeilnehmerInnen der Fokusgruppe wiesen außerdem darauf hin, dass Variationen in der Durchführung von Visiten in Abhängigkeit von Visitenzielen (Behandlung vs. Lehre), Eigenschaften des Patienten (z.B. Persönlichkeit, Schwere der Krankheit) und der Zusammensetzung des Visitenteams (Anzahl und Profession der Teammitglieder) abhängen.Es wurden außerdem Anpassungen in Formulierungen und in der Beschreibung einiger Aktivitäten vorgenommen. Alle TeilnehmerInnen bekräftigten, dass die Checkliste ein gutes Verständnis der für die Visite relevanten Kompetenzen und Tätigkeiten ermöglicht und eine gute Grundlage für Feedback und Assessment darstellt. Allerdings wurde auch darauf hingewiesen, dass die Komplexität hinderlich für die unmittelbare Anwendung der Checkliste während der Visite sein kann.In der Follow-up-Phase wurde die überarbeitete Checkliste allen TeilnehmerInnen über CASUS zugänglich gemacht und die sie wurden gebeten, anzugeben, ob sie mit den Veränderungen übereinstimmen. Im Fall eines Widerspruchs wurden sie aufgefordert, einen Grund sowie eine alternative Formulierung zu benennen. Die finale Beobachtungs-Checkliste findet sich in Anhang 1 .3.2. Externe Validierung der EPA Beobachtungs-Checkliste durch Beobachtung Standardisierter Realer Videos von VisitenHinsichtlich der Generalisierbarkeit der Checkliste, ware eine multi-institutionelle Validierung im Rahmen realer Visiten wünschenswert. Zur wissenschaftlichen Bewertung der Checkliste war jedoch eine Standardisierung von Visitenszenarien erforderlich. Um die externe Validität der Checkliste zu bewerten, haben wir uns entschieden, echte Visiten standardisierter Patientenfälle in unterschiedlichen Kliniken, Stationen unterschiedlicher Spezialisierungen und verschiedenen Visitenteams zu videographieren. Einen Überblick über die Dauer der Videos zeigt Tabelle 2 . Die Forschungsfrage war, inwieweit die Checkliste geeignet ist, um das Betrachten von Visiten zu strukturieren und inwieweit diese einer typischen Visite entspricht. Die Beobachtungs-Checkliste wurde erfolgreich angewendet und 488 Verhaltensweisen, die die 25 Visitentätigkeiten und neun Kompetenzen repräsentierten, wurden kodiert. Sechs Kompetenzen konnten unabhängig von Visitenteam und Patientenfall in jedem Visitenvideo beobachtet werden. Zwei Kompetenzen – Problemlösefähigkeit und Führungsqualitäten, Selbstmanagement – sowie die dazugehörigen Tätigkeiten konnten in keinem Video beobachtet werden. Die Tätigkeiten (Trainee leitet die Aufgabenverteilung, Trainee führt eine adäquate Dokumentation durch, Trainee erkennt und handelt bei der Notwendigkeit empathischen Handelns im Umgang mit dem Patienten) konnten nur in einigen Videos beobachtet werden. Anhang 2 gibt einen vollständigen Überblick über die Häufigkeit der Kodierungen. Beide Rater bewerteten die Checkliste als hilfreiche Strukturierung für die Betrachtung der Videos. Die klaren Kodierregeln erlaubten reliable Kodierungen. 4. Discussion and conclusionConducting ward rounds is a key responsibility of a physician once he or she is graduated. Nevertheless, research highlights that both physicians and students struggle in conducting and understanding the purpose of ward rounds. With our previous study , we developed an EPA “Conducting internal medicine ward rounds” that reflects the broad range of competencies and relating activities a physician should be able to show after graduation. To assess content and external validity of the observation checklist emerging from this EPA, we conducted two separate validation studies.Content and external validity of the observation checklistParticipants of the focus group reached consensus that the initially identified competencies picture ward round practice at our university hospital. However, participants highlighted that leadership skills should not be regarded in isolation but be assessed in light of other areas of competency. After some adaptions in the wording and descriptions of activities, participants agreed that the activities and examples for these activities included in the observation checklist are relevant for and comprehensive with respect to describing ward round competence. We conclude that content validity is given. External validity was studied by using the observation checklist for ratings of 14 authentic ward rounds performed by seven internal medicine ward round teams. Raters indicated that the observation checklist provided a valuable tool for structuring observation of the ward round process and that the activities and examples align with professional practice. Along with this insight, the high frequencies of observed behavior associated with the nine ward round competencies support external validity.Difficulties in the application of the observation checklistNevertheless, results demonstrate that activities representing the competencies management of difficult situations and leadership skills and self-management could not be observed. Also activities tied to communication with the team and leadership skills, diagnostic analysis and therapy planning were only observed in some videos. It is likely, that the design of the study impeded the appearance of certain activities. We used standardized cases that ensured comparability of data. However, the cases did not involve critical situations that triggered the handling of disturbances or faults. Besides, we only videotaped parts of the ward round process at one single occasion. Videos included each a patient consultation and the associated preliminary discussion and debriefing. For practical reasons, the preparation and post-processing of the ward rounds were not subject of the video even though they would have provided additional information. To facilitate grounded entrustment decisions on a trainee’s performance, we therefore recommend to observe trainees across multiple ward round occasions enabling him or her to deal with variations in ward rounds and patient characteristics and to also show behavior that is not necessarily relevant for every ward round encounter , . For ecological reasons, we did not manipulate the composition of the ward round team, nor did we set a time frame for the duration of the ward rounds. The variations in the team composition and the durations of the ward rounds possibly affected our results.In addition to these design-related limitations, some activities and examples for them were not observable as they refer to an individual’s cognitive processes. Per definition, these activities cannot find their way into the observational checklist . Due to their importance, these competencies should not be neglected but be addressed through other formats. Incorporating structured after-round feedback processes targeting non-observable aspects or enhancing observation data with indirect measurement tools such as questionnaires on satisfaction with the ward round process or self-reflection might contribute to entrustment decisions. Also the duration and interruptions of rounds can serve as complementary indicator for the efficiency of rounds , and for entrustment decisions. Decisions on the Level of Supervision (LoS) Entrustment decisions strive to inform about a trainee’s ability to master a professional task and to determine the level of required supervision. These decisions are complex in nature and are shaped by several factors such as the trainee, the supervisor, the context, the task and the relationship between trainee and supervisors , . To our knowledge, there exists no gold standard of how and when to decide whether or not a task can be entrusted to a trainee. Instead these decisions are based on formal criteria such as graduation or information gained through self-assessment and assessment of the supervisor , , while acknowledging that these assessments do not necessarily suit professional practice. Clear delimitations between the different levels of required supervision are barely found. Likewise, our observation checklist does not allow a clear threshold between the five levels of required supervision. However, we understand it as a tool that structures observation of ward round performance that contributes to entrustment decisions. Using the checklist for formative assessment at multiple occasions in the course of medical education and professional development, it potentially provides significant stimuli for individual learning for both undergraduate and graduate medical education.Limitations and further directionsThis study examines the validity of an observation checklist developed for student education and educational research. By testing a rather theoretical model (EPA) in a practical setting (observational checklist) it constitutes an improvement of already existing checklists in the literature and builds a bridge between theory and practice.The second part of the study addresses the external validation. We chose to standardize the patient cases and to perform checklist rating upon videotapes and not by attendance of the raters during the real-life ward rounds, which might have influenced the behavior of the teams. This enabled us to assess seven different teams under standardized conditions and revealed high quality data. However, in terms of generalizability and with the goal to determine thresholds for the different levels of entrustment, the number of scenarios is far too low. This issue is recommended to be addressed by upcoming studies. The presented observation checklist features a comprehensive compilation of ward round competences and their corresponding activities that were translated into graspable examples for observable behavior. It goes beyond prior attempts , that incorporated fewer activities and targeted only specific aspects of the ward round. With our data, we could demonstrate both content and external validity of the checklist and suggest an implementation of the checklist for both undergraduate and graduate medical education. We regard the observation checklist as a valuable tool for evidence-based assessment and elaborate formative and summative feedback that enhances individuals’ professional development. As pointed out by the focus group, with its 25 activities and 85 exemplary facets of behavior, the observation checklist is quite extensive and therefore bears the potential to impede the intuitive application in the course of the ward round. Hence, we encourage both trainees and supervisors to familiarize themselves with the checklist before application to maximize educational outcomes. Moreover, as pointed out before, we recommend the implementation of after-round feedback processes that can be enriched with additional information sources (e.g. questionnaires) to enhance reflection on the ward round procedure and to amend learning and professional development. As stressed out by prior research, medical staff does not necessarily possess appropriate teaching competences . Specific training on how to use the observation checklists can be reasonable. We provide a science based observation checklist for the EPA “Conducting an internal medicine ward round”. The checklist was furthermore shown to be a feasible instrument for assessing ward round performance. The implementation of the observation checklist in both the workplace and medical education are desired next steps. Accompanying research should tackle the instrument’s reliability for assessment purposes and its feasibility in the workplace. 4. Diskussion und FazitDie Durchführung von Visiten ist eine zentrale Tätigkeit von ÄrztInnen. Nichtsdestotrotz zeigten Forschungsergebnisse, dass sowohl ÄrztInnen, als auch Studierende Schwierigkeiten haben, Visiten durchzuführen und ihre Ziele zu verstehen. In unserer früheren Studie haben wir eine EPA „Durchführung einer Visite in der Inneren Medizin“ entwickelt, die die erforderlichen Kompetenzen und dazugehörigen Tätigkeiten, die ÄrztInnen nach Abschluss ihres Studiums aufweisen sollten, umfasst. Wir führten zwei separate Validierungsstudien durch, um die inhaltliche und externe Validität der Beobachtungs-Checkliste zu bewerten. Inhaltliche und externe Validität der Beobachtungs-ChecklisteUnter den TeilnehmerInnen der Fokusgruppendiskussion bestand Konsens, dass die initialen Kompetenzen eine typische Visite an unserem Universitätsklinikum abbilden. Allerdings wiesen sie darauf hin, dass Führungsqualitäten nicht isoliert, sondern im Kontext anderer Kompetenzbereiche betrachtet werden sollten. Nach einigen Anpassungen in der Formulierung und Beschreibung von Tätigkeiten stimmten alle TeilnehmerInnen zu, dass die Checkliste vollständig und zur Beschreibung von Visitenkompetenz geeignet ist. Daher kann die inhaltliche Validität der Checkliste angenommen werden. Zur Prüfung der externen Validität wurde die Beobachtungs-Checkliste zur Bewertung von 14 authentischen Visiten, die durch sieben Visitenteams durchgeführt wurden, herangezogen. Die Checkliste wurde als hilfreich zur Lenkung der Aufmerksamkeit auf visitenrelevante Aspekte angesehen. Die hohe Anzahl beobachteter Verhaltensweisen, bestätigt die Relevanz der neun Visitenkompetenzen und der dazugehörigen Tätigkeiten zur Abbildung des Visitenprozesses. Die externe Validität der Checkliste kann daher angenommen werden.Herausforderungen bei der Anwendung der Beobachtungs-ChecklisteTrotz dieser positive Erkenntnisse zeigte sich auch, dass Tätigkeiten, die den Kompetenzen Problemlösefähigkeit und Führungsqualitäten und Selbstmanagement nicht beobachtbar waren. Auch waren Tätigkeiten im Bereich der Kommunikation mit dem Team und Führungsqualitäten und der Diagnosestellung und Therapieplanung nur in einigen Videos sichtbar. Es ist denkbar, dass das Studiendesign zu diesem Resultat führte. Wir nutzen standardisierte Fallvignetten, die die Vergleichbarkeit der gewonnenen Daten ermöglichten. Diese umfassten keine kritischen Situationen oder erforderten explizit Problemlösefähigkeiten. Zudem wurden nur Ausschnitte der gesamten Visite zu einem einzigen Zeitpunkt aufgezeichnet. Die Vor- und Nachbereitung der gesamten Visite war aus logistischen Gründen nicht über alle Stationen hinweg möglich, auch wenn diese Phasen der Visite zusätzliche Informationen geliefert hätten. Um Entscheidungen über die Anvertraubarkeit von Tätigkeiten an eine/n Trainee zu treffen, empfehlen wir daher, den/die Trainee mehrmals bei der Durchführung von Visiten zu beobachten und auch die Vor- und Nachbereitung der Visite zu berücksichtigen. Dadurch kann der Umgang mit Visiten unterschiedlicher Komplexität, unterschiedlichen Patientenfällen sowie mit besonderen Situationen beobachtet und eine solide Entscheidung getroffen werden , . Aus ökologischen Gründen haben wir die Zusammensetzung der Visitenteams nicht manipuliert oder eine Zeitlimit für die Durchführung von Visiten gesetzt. Die daraus resultierenden Variationen können eine weitere Ursache für unsere Erkenntnisse sein.Zusätzlich zu diesen Aspekten, die auf das Studiendesign zurückgehen, ist anzunehmen, dass einige Aktivitäten nicht sichtbar waren, da sie sich auf kognitive Prozesse beziehen. Per Definition kann die Beobachtungs-Checkliste diese Tätigkeiten nicht umfassen . Wir empfehlen, diese Tätigkeiten aufgrund ihrer Relevanz durch andere Formate, wie beispielsweise strukturierte Feedback-Gespräche oder Instrumente, die die indirekte Erfassung dieser Aspekte (z.B. Fragebögen zur Erfassung der Zufriedenheit mit dem Visitenprozess , Selbstreflexion ) ermöglichen, zu ergänzen. Als weitere Indikatoren für Entrustment-Entscheidungen können die Dauer und Unterbrechungen der Visite hinzugezogen werden , .Entscheidungen zum Level of Supervision (LoS)Entrustment-Entscheidungen dienen einer Einschätzung hinsichtlich der Fähigkeit einer/s Trainee/s, eine professionelle Tätigkeit auszuführen sowie der hierfür erforderlichen Beaufsichtigung. Die Entscheidungen sind sehr komplex und sind von mehreren Faktoren abhängig: Trainee, Supervisor, Kontext, Aufgabe sowie Beziehung zwischen Trainee und Supervisor , . Aktuell besteht noch kein goldener Standard dahingehend, wie und wann dieser Entscheidungsprozess sich gestaltet. Bisher werden der Abschluss des Studiums bzw. der Facharztausbildung sowie Informationen die durch mehr oder weniger strukturierte Selbst- und Fremdeinschätzungen getroffen werden, hierfür genutzt, obwohl diese nicht unbedingt mit der professionellen Praxis übereinstimmen , , . Ähnlich zu vorangegangenen Studien kann auch mit unserer Studie keine klare Abgenzung zwischen den fünf Niveaus, die Angaben über notwendige Supervision machen, getroffen werden. Wir empfehlen daher, die Checkliste als Instrument für formatives Feedback zu mehreren Zeitpunkten sowohl im Medizinstudium sowie in der ärztlichen Weiterbildung anzuwenden und Lernprozesse zu stimulieren.Limitationen und nächste SchritteMit dieser Studie wurde die Validität einer Beobachtungs-Checkliste überüprüft. Mit einer umfassenden theoretisch-empirischen Grundlage geht sie über frühere Ansätze hinaus und ermöglicht außerdem einen Brückenschlag zwischen theoretischen Konzepten und der (klinischen)Ausbildungspraxis. Für die Studie zur Prüfung der externen Validität haben wir eine Standardisierung der Visitensituation gewählt. Hierdurch wurden vergleichbare Daten erlangt und die Betrachtung der Videos anhand der Checkliste konnte ohne weitere Beobachtungseffekte erfolgen. Mit insgesamt 14 Videos von sieben Visitenteams ist die Generalisierbarkeit zwar eingeschränkt, bildet jedoch eine solide Grundlage für zukünftige Studien. Die dargestellte Beobachtungs-Checkliste stellt eine umfassende Zusammenstellung visitenrelevanter Kompetenzen sowie der dazugehörigen Tätigkeiten dar, die durch konkrete und beobachtbare Beispiele angereichert sind. Sie geht über frühere Ansätze , hinaus, die weniger Tätigkeiten und nur spezifische Aspekte der Visite aufgriffen. Mit unseren beiden Studien konnten wir die inhaltliche und externe Validität der Beobachtungs-Checkliste bestätigen sowie Vorschläge zur Implementierung im Medizinstudium sowie in der postgraduierten Medizin machen. Wir halten die Checkliste für ein wertvolles Hilfsmittel, das evidenzbasiertes Assessment und elaboriertes formatives und summatives Feedback ermöglicht, und somit zur beruflichen Weiterbildung beiträgt.Wie von den TeilnehmerInnen der Fokusgruppendiskussion angemerkt wurde, ist die Checkliste mit insgesamt 25 Aktivitäten und 85 Verhaltensfacetten sehr umfangreich, was hinderlich für die intuitive Anwendung im Verlauf der Visite sein kann. Daher möchten wir Trainees sowie Lehrende anregen, sich vor der Anwendung mit der Checkliste vertraut zu machen, um von ihrem Potential zu profitieren. Weiterhin empfehlen wir die Implementierung strukturierten Feedbacks im Anschluss an die Visite, das durch weitere Informationsquellen (z.B. Fragebögen) ergänzt wird. Hierdurch können Reflexions- und Lernprozesse angestoßen und die professionelle Entwicklung gefördert werden. Wie frühere Forschung herausstellte, haben nicht alle ÄrztInnen gute Lehrkompetenzen . Daher erachten wir es für sinnvoll, spezifisches didaktisches Training für den Einsatz der Checkliste anzubieten.Mit unseren Studien prüften wir die inhaltliche und externe Validität der Beobachtungs-Checkliste, die auf der EPA „Durchführung einer Visite in der Inneren Medizin“ basiert. Es zeigte sich, dass die Checkliste ein anwendbares Instrument zum Assessment von Visitenkompetenz darstellt. Die Implementierung der Checkliste sowohl im Medizinstudium, als auch in der beruflichen Praxis auf Station sind naheliegende und wünschenswerte nächste Schritte. Begleitende Forschung soll ein spezielles Augenmerk auf die Zuverlässigkeit der Checkliste für Assessment sowie deren Nutzbarkeit am Arbeitsplatz legen. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Nikendei C Kraus B Schrauth M Briem S Junger J Ward rounds: how prepared are future doctors? 2008 Med Teach 88-91 Nikendei C, Kraus B, Schrauth M, Briem S, Junger J. Ward rounds: how prepared are future doctors? Med Teach. 2008;30(1):88-91. DOI: 10.1080/01421590701753468 http://dx.doi.org/10.1080/01421590701753468 Norgaard K Ringsted C Dolmans D Validation of a checklist to assess ward round performance in internal medicine 2004 Med Educ 700-707 Norgaard K, Ringsted C, Dolmans D. Validation of a checklist to assess ward round performance in internal medicine. Med Educ. 2004;38(7):700-707. Weber H Stockli M Nubling M Langewitz WA Communication during ward rounds in internal medicine. An analysis of patient-nurse-physician interactions using RIAS 2007 Patient Educ Couns 343-348 Weber H, Stockli M, Nubling M, Langewitz WA. Communication during ward rounds in internal medicine. An analysis of patient-nurse-physician interactions using RIAS. Patient Educ Couns. 2007;67(3):343-348. Tariq M Motiwala A Ali SU Riaz M Awan S Akhter J The learners' perspective on internal medicine ward rounds: a cross-sectional study 2010 BMC Med Educ 53 Tariq M, Motiwala A, Ali SU, Riaz M, Awan S, Akhter J. The learners' perspective on internal medicine ward rounds: a cross-sectional study. BMC Med Educ. 2010;10:53. DOI: 10.1186/1472-6920-10-53 http://dx.doi.org/10.1186/1472-6920-10-53 Almutar S Altourah L Sadeq H Karim J Marwan Y Medical and surgical ward rounds in teaching hospitals of Kuwait University: students' perceptions 2013 Adv Med Educ Pract 189-193 Almutar S, Altourah L, Sadeq H, Karim J, Marwan Y. Medical and surgical ward rounds in teaching hospitals of Kuwait University: students' perceptions. Adv Med Educ Pract. 2013;4:189-193. DOI: 10.2147/AMEP.S52096 http://dx.doi.org/10.2147/AMEP.S52096 Claridge A What is the educational value of ward rounds? A learner and teacher perspective 2011 Clin Med (Lond) 558-562 Claridge A. What is the educational value of ward rounds? A learner and teacher perspective. Clin Med (Lond). 2011;11(6):558-562. O'Hare JA Anatomy of the ward round 2008 Eur J Intern Med 309-313 O'Hare JA. Anatomy of the ward round. Eur J Intern Med. 2008;19(5):309-313. DOI: 10.1016/j.ejim.2007.09.016 http://dx.doi.org/10.1016/j.ejim.2007.09.016 Reeves S Rice K Conn LG Miller KL Kenaszchuk C Zwarenstein M Interprofessional interaction, negotiation and non-negotiation on general internal medicine wards 2009 J Interprof Care 633-645 Reeves S, Rice K, Conn LG, Miller KL, Kenaszchuk C, Zwarenstein M. Interprofessional interaction, negotiation and non-negotiation on general internal medicine wards. J Interprof Care. 2009;23(6):633-645. DOI: 10.3109/13561820902886295 http://dx.doi.org/10.3109/13561820902886295 Ramani S Leinster S AMEE Guide no. 34: Teaching in the clinical environment 2008 Med Teach 347-364 Ramani S, Leinster S. AMEE Guide no. 34: Teaching in the clinical environment. Med Teach. 2008;30(4):347-364. DOI: 10.1080/01421590802061613 http://dx.doi.org/10.1080/01421590802061613 Ker J Cantillon P Ambrose L Teaching on a ward round 2008 BMJ a1930 Ker J, Cantillon P, Ambrose L. Teaching on a ward round. BMJ. 2008;337:a1930. DOI: 10.1136/bmj.a1930 http://dx.doi.org/10.1136/bmj.a1930 Chen HC van den Broek WE ten Cate O The case for use of entrustable professional activities in undergraduate medical education 2015 Acad Med 431-436 Chen HC, van den Broek WE, ten Cate O. The case for use of entrustable professional activities in undergraduate medical education. Acad Med. 2015;90(4):431-436. DOI: 10.1097/ACM.0000000000000586 http://dx.doi.org/10.1097/ACM.0000000000000586 Roselle H Gordon C Steve J Implementation of a considerative checklist to improve productivity and team working on medical ward rounds 2011 Clin Gov 129-136 Roselle H, Gordon C, Steve J. Implementation of a considerative checklist to improve productivity and team working on medical ward rounds. Clin Gov. 2011;16(2):129-136. Weber H Langewitz W 2011 Psychother Psychosom Med Psychol 193-195 Weber H, Langewitz W. [The Basel standard for doctor's visits--chance for a successful interaction triad patient-doctor-nursing staff]. Psychother Psychosom Med Psychol. 2011;61(3-4):193-195. DOI: 10.1055/s-0030-1266079 http://dx.doi.org/10.1055/s-0030-1266079 Wolfel T Beltermann E Lottspeich C Vietz E Fischer MR Schmidmaier R Medical ward round competence in internal medicine - an interview study towards an interprofessional development of an Entrustable Professional Activity (EPA) 2016 BMC Med Educ 174 Wolfel T, Beltermann E, Lottspeich C, Vietz E, Fischer MR, Schmidmaier R. Medical ward round competence in internal medicine - an interview study towards an interprofessional development of an Entrustable Professional Activity (EPA). BMC Med Educ. 2016;16(1):174. DOI: 10.1186/s12909-016-0697-y http://dx.doi.org/10.1186/s12909-016-0697-y ten Cate O Scheele F Competency-based postgraduate training: can we bridge the gap between theory and clinical practice? 2007 Acad Med 542-547 ten Cate O, Scheele F. Competency-based postgraduate training: can we bridge the gap between theory and clinical practice? Acad Med. 2007;82(6):542-547. DOI: 10.1097/ACM.0b013e31805559c7 http://dx.doi.org/10.1097/ACM.0b013e31805559c7 Stalmeijer RE McNaughton N Van Mook WN Using focus groups in medical education research: AMEE Guide No. 91 2014 Med Teach 923-939 Stalmeijer RE, McNaughton N, Van Mook WN. Using focus groups in medical education research: AMEE Guide No. 91. Med Teach. 2014;36(11):923-939. DOI: 10.3109/0142159X.2014.917165 http://dx.doi.org/10.3109/0142159X.2014.917165 Fischer MR Schauer S Grasel C Baehring T Mandl H Gartner R Scherbaum W Scriba PC 1996 Z Arztl Fortbild (Jena) 385-389 Fischer MR, Schauer S, Grasel C, Baehring T, Mandl H, Gartner R, Scherbaum W, Scriba PC. [CASUS model trial. A computer-assisted author system for problem-oriented learning in medicine]. Z Arztl Fortbild (Jena). 1996;90(5):385-389. Bortz J Döring N 2006 Forschungsmethoden und Evaluation für Human-und Sozialwissenschaftler Bortz J, Döring N. Forschungsmethoden und Evaluation für Human-und Sozialwissenschaftler. Heidelberg: Springer; 2006. Oerlemans M Dielissen P Timmerman A Ram P Maiburg B Muris J van der Vleuten C Should we assess clinical performance in single patient encounters or consistent behaviors of clinical performance over a series of encounters? A qualitative exploration of narrative trainee profiles 2017 Med Teach 300-307 Oerlemans M, Dielissen P, Timmerman A, Ram P, Maiburg B, Muris J, van der Vleuten C. Should we assess clinical performance in single patient encounters or consistent behaviors of clinical performance over a series of encounters? A qualitative exploration of narrative trainee profiles. Med Teach. 2017;39(3):300-307. DOI: 10.1080/0142159X.2017.1270427 http://dx.doi.org/10.1080/0142159X.2017.1270427 ten Cate O Nuts and bolts of entrustable professional activities 2013 J Grad Med Educ 157-158 ten Cate O. Nuts and bolts of entrustable professional activities. J Grad Med Educ. 2013;5(1):157-158. DOI: 10.4300/JGME-D-12-00380.1 http://dx.doi.org/10.4300/JGME-D-12-00380.1 ten Cate O Entrustability of professional activities and competency-based training 2005 Med Educ 1176-1177 ten Cate O. Entrustability of professional activities and competency-based training. Med Educ. 2005;39(12):1176-1177. DOI: 10.1111/j.1365-2929.2005.02341.x http://dx.doi.org/10.1111/j.1365-2929.2005.02341.x Krautter M Koehl-Hackert N Nagelmann L Junger J Norcini J Tekian A Nikendei C Improving ward round skills 2014 Med Teach 783-788 Krautter M, Koehl-Hackert N, Nagelmann L, Junger J, Norcini J, Tekian A, Nikendei C. Improving ward round skills. Med Teach. 2014;36(9):783-788. DOI: 10.3109/0142159X.2014.909585 http://dx.doi.org/10.3109/0142159X.2014.909585 Aukes LC Geertsma J Cohen-Schotanus J Zwierstra RP Slaets JP The development of a scale to measure personal reflection in medical practice and education 2007 Med Teach 177-182 Aukes LC, Geertsma J, Cohen-Schotanus J, Zwierstra RP, Slaets JP. The development of a scale to measure personal reflection in medical practice and education. Med Teach. 2007;29(2-3):177-182. DOI: 10.1080/01421590701299272 http://dx.doi.org/10.1080/01421590701299272 Castiglioni A Shewchuk RM Willett LL Heudebert GR Centor RM A pilot study using nominal group technique to assess residents' perceptions of successful attending rounds 2008 J Gen Intern Med 1060-1065 Castiglioni A, Shewchuk RM, Willett LL, Heudebert GR, Centor RM. A pilot study using nominal group technique to assess residents' perceptions of successful attending rounds. J Gen Intern Med. 2008;23(7):1060-1065. DOI: 10.1007/s11606-008-0668-z http://dx.doi.org/10.1007/s11606-008-0668-z Ten Cate O Hart D Ankel F Busari J Englander R Glasgow N Holmboe E Iobst W Lovell E Snell LS Touchie C Van Melle E Wycliffe-Jones K International Competency-Based Medical Euducation Collaborators Entrustment Decision Making in Clinical Training 2016 Acad Med 191-198 Ten Cate O, Hart D, Ankel F, Busari J, Englander R, Glasgow N, Holmboe E, Iobst W, Lovell E, Snell LS, Touchie C, Van Melle E, Wycliffe-Jones K; International Competency-Based Medical Euducation Collaborators. Entrustment Decision Making in Clinical Training. Acad Med. 2016;91(2):191-198. DOI: 10.1097/ACM.0000000000001044 http://dx.doi.org/10.1097/ACM.0000000000001044 Chen HC McNamara M Teherani A Cate OT O'Sullivan P Developing Entrustable Professional Activities for Entry Into Clerkship 2016 Acad Med 247-255 Chen HC, McNamara M, Teherani A, Cate OT, O'Sullivan P. Developing Entrustable Professional Activities for Entry Into Clerkship. Acad Med. 2016;91(2):247-255. DOI: 10.1097/ACM.0000000000000988 http://dx.doi.org/10.1097/ACM.0000000000000988 Schuwirth L Ash J Assessing tomorrow's learners: in competency-based education only a radically different holistic method of assessment will work. Six things we could forget 2013 Med Teach 555-559 Schuwirth L, Ash J. Assessing tomorrow's learners: in competency-based education only a radically different holistic method of assessment will work. Six things we could forget. Med Teach. 2013;35(7):555-559. DOI: 10.3109/0142159X.2013.787140 http://dx.doi.org/10.3109/0142159X.2013.787140 Sterkenburg A Barach P Kalkman C Gielen M ten Cate O When do supervising physicians decide to entrust residents with unsupervised tasks? 2010 Acad Med 1408-1417 Sterkenburg A, Barach P, Kalkman C, Gielen M, ten Cate O. When do supervising physicians decide to entrust residents with unsupervised tasks? Acad Med. 2010;85(9):1408-1417. DOI: 10.1097/ACM.0b013e3181eab0ec http://dx.doi.org/10.1097/ACM.0b013e3181eab0ec Dewey CM Jonker G Ten Cate O Turner TL Entrustable professional activities (EPAs) for teachers in medical education: Has the time come? 2017 Med Teach 894-896 Dewey CM, Jonker G, Ten Cate O, Turner TL. Entrustable professional activities (EPAs) for teachers in medical education: Has the time come? Med Teach. 2017;39(8):894-896. DOI: 10.1080/0142159X.2016.1270447 http://dx.doi.org/10.1080/0142159X.2016.1270447 11en1de

22en2de

2 0 0 1 1en 1de Checklist including competencies, associates activities and examples (* marked exemplary behaviours were not observed in any of the 14 ward round scenarios) Checkliste mit allen Kompetenzen, zugehörigen Aktivitäten und Beispielen (mit * markierte Tätigkeiten konnten in keiner der 14 Visiten Szenen beobachtet werden) 2 2en 2de Frequencies of competences and activities observed in the ward round videos (across both cases) Häufigkeit der beobachteten Kompetenzen und Aktivitäten in den Visitenvideos (beide Patientenfälle) 2