zma001491 10.3205/zma001491 urn:nbn:de:0183-zma0014912 article Artikel Einfluss eines Leitfadens auf Inhalt und Durchführbarkeit von CRM-Debriefings nach simulierten Notfällen Freytag Freytag Julia J

Charité - Universitätsmedizin Berlin, corporate member of Freie Universität Berlin and Humboldt-Universität zu Berlin, Simulated Patient Programme, Charitéplatz 1, D-10117 Berlin, GermanyCharité - Universitätsmedizin Berlin, corporate member of Freie Universität Berlin and Humboldt-Universität zu Berlin, Simulated Patient Programme, Berlin, Germany

Charité - Universitätsmedizin Berlin, corporate member of Freie Universität Berlin and Humboldt-Universität zu Berlin, Simulationspatientenprogramm, Charitéplatz 1, 10117 Berlin, DeutschlandCharité - Universitätsmedizin Berlin, corporate member of Freie Universität Berlin and Humboldt-Universität zu Berlin, Simulationspatientenprogramm, Berlin, Deutschland

julia.freytag@charite.de author Stroben Stroben Fabian F

Charité - Universitätsmedizin Berlin, corporate member of Freie Universität Berlin and Humboldt-Universität zu Berlin, Department of Anesthesiology and Operative Intensive Care Medicine (CBF), Berlin, Germany

Charité - Universitätsmedizin Berlin, corporate member of Freie Universität Berlin and Humboldt-Universität zu Berlin, Department of Anesthesiology and Operative Intensive Care Medicine (CBF), Berlin, Deutschland

fabian.stroben@charite.de author Hautz Hautz Wolf E. WE

Inselspital University Hospital Bern, Department of Emergency Medicine, Bern, Switzerland

Universität Bern, Inselspital Bern, Universitäres Notfallzentrum, Bern, Schweiz

Wolf.Hautz@insel.ch author Penders Penders Dorothea D

Charité - Universitätsmedizin Berlin, corporate member of Freie Universität Berlin and Humboldt-Universität zu Berlin, Lernzentrum, Berlin, Germany Charité - Universitätsmedizin Berlin, corporate member of Freie Universität Berlin and Humboldt-Universität zu Berlin, Department of Anesthesiology and Operative Intensive Care Medicine (CCM, CVK), Berlin, Germany

Charité - Universitätsmedizin Berlin, corporate member of Freie Universität Berlin and Humboldt-Universität zu Berlin, Lernzentrum, Berlin, Deutschland Charité - Universitätsmedizin Berlin, corporate member of Freie Universität Berlin and Humboldt-Universität zu Berlin, Department of Anesthesiology and Operative Intensive Care Medicine (CCM, CVK), Berlin, Germany

dorothea.penders@charite.de author Kämmer Kämmer Juliane E. JE

Inselspital University Hospital Bern, Department of Emergency Medicine, Bern, Switzerland

Universität Bern, Inselspital Bern, Universitäres Notfallzentrum, Bern, Schweiz

julianeeva.kaemmer@extern.insel.ch author German Medical Science GMS Publishing House

Düsseldorf

610 teamwork non-technical skills structured debriefing cognitive aid simulation-based education Teamarbeit nichttechnische Fertigkeiten Debriefing Strukturierungshilfe Leitfaden simulationsbasierte Lehre emergency medicine Notfallmedizin 20200529 20210104 20210225 20210615 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 38 5 GMS Journal for Medical Education GMS J Med Educ 95 10.5061/dryad.02v6wwq2t Bundesministerium für Bildung und Forschung Schweizerischer Nationalfond Mundipharma Research UK AO Fundation Zürich EC Zielsetzung: Unerwünschten Ereignissen in der Patientenversorgung liegen häufig Versäumnisse in der Teamarbeit zugrunde. Simulationstrainings und deren Nachbesprechung, das Debriefing, können einen Beitrag zur Verbesserung der Teamarbeit und somit der Versorgung leisten. Bei der Durchführung von Debriefings gibt es verschiedene Gestaltungsfaktoren, die den Lernerfolg möglicherweise beeinflussen. In dieser Studie wird der Einsatz eines strukturierenden Leitfadens auf den Inhalt von Debriefings untersucht und mit nur grob strukturierten Debriefings verglichen. Darüber hinaus wird die Durchführbarkeit des Debriefings, die Zufriedenheit der Teilnehmenden und ihre Teamarbeit im Verlauf des Trainings untersucht.Methodik: In einem simulierten Nachtdienst durchliefen sieben Teams von vier bis fünf Medizinstudierenden (n=32) insgesamt sechs Fälle aus der Notfallmedizin und erhielten nach jedem Fall ein Debriefing zu ihrer Teamarbeit: entweder in der Interventionsbedingung unter Zuhilfenahme des Leitfadens TeamTAG, der ausgewählte Teamarbeitsprinzipien des Crisis Resource Management (CRM) in den Fokus stellt, oder in der Kontrollbedingung ohne diesen. Die debriefenden Tutor*innen notierten die Themen der Debriefings und bewerteten ihre Erfahrungen mit der Durchführung; die Teilnehmenden gaben ihre Zufriedenheit mit dem Debriefings, sowie ihre Einschätzung zur Wichtigkeit der CRM-Prinzipien an. Zusätzlich wurde die Qualität der Teamarbeit mit dem Team Emergency Assessment Measure (TEAM) erfasst.Ergebnisse: Zwischen Kontroll- und Interventionsbedingung gab es keinen Unterschied in der Anzahl der besprochenen Teamarbeitsprinzipien, jedoch kam es in der Kontrollgruppe häufiger zur Wiederholung von Themen. Der durch den TeamTAG gesetzte inhaltliche Schwerpunkt wurde von den Tutor*innen umgesetzt, sie besprachen die dort enthaltenen CRM-Prinzipien konsistenter als in der Kontrollbedingung. Die Tutor*innen beider Bedingungen waren mit der Durchführung zufrieden, die Nutzung des TeamTAG erleichterte dabei das Zeitmanagement. Es gab keine Unterschiede bezüglich der Zufriedenheit der Teilnehmenden, ihrer Einschätzung der Wichtigkeit der Teamarbeitsprinzipien oder der Qualität der Teamarbeit zwischen den Bedingungen.Schlussfolgerung: Die Nutzung eines Debriefing-Leitfadens kann helfen, den Fokus auf bestimmte Themen oder Lernziele zu lenken und durch die Vorstrukturierung das Zeitmanagement erleichtern; ein Unterschied im Lernerfolg (i.S. der Qualität der Teamarbeit) zeigt sich hingegen nicht. Neben dem Einfluss einer bestimmten Struktur oder eines Leitfadens ist ein starker individueller Einfluss der debriefenden Person wahrscheinlich. Background: Adverse events in patient care are often caused by failures in teamwork. Simulation training and its debriefing can contribute to improving teamwork and thus patient care. When conducting debriefings, there are several design factors that can potentially influence learning outcomes. This study examines the use of a cognitive aid to help structure the content of debriefings and compares it with debriefings that are merely roughly structured. In addition, the feasibility of the debriefing, the satisfaction of the participants and their teamwork during the training are investigated.Methods: In a simulated night shift, seven teams of four to five medical students (n=32) took part in six cases that simulated common situations in an emergency medicine environment and received a debriefing on their teamwork after each case, either in the intervention condition with the help of the TeamTAG tool – a cognitive aid focusing on selected teamwork principles from Crisis Resource Management (CRM) – or in the control condition without it. The facilitators noted the topics of the debriefings and rated their experience of conducting them; the participants indicated their satisfaction with the debriefings, as well as their assessment of the importance of CRM principles. In addition, the quality of teamwork was assessed using the Team Emergency Assessment Measure (TEAM).Results: The analysis showed no difference in the number of teamwork principles discussed between the control and intervention conditions, but topics were repeated more frequently in the control group. The TeamTAG guideline was focused on and implemented by the tutors, who discussed the CRM principles included in the TeamTAG more consistently than in the control condition. The tutors in both conditions were satisfied with the implementation, and the use of TeamTAG facilitated time management. There were no differences in participants’ satisfaction, their assessment of the importance of the teamwork principles, or the quality of teamwork between conditions.Conclusion: The use of a cognitive aid can help to direct the focus on certain topics or learning objectives and facilitate time management through pre-structuring; however, a difference in learning outcomes (in terms of the quality of teamwork) could not be identified. Besides the influence of a certain structure or script, a strong influence from the individual guiding the debriefing is likely. 1. IntroductionErrors in the diagnosis and treatment of patients occur regularly and can cause harm or even death , . The proportion of hospital patients who experience so-called adverse events is 5-10% – about half of which are classed as preventable . The causes of preventable adverse events often lie in the area of non-technical skills (NTS) , , . These skills include communication, leadership, collaboration, and decision making – often subsumed under the term teamwork – and describe all interactions that occur between team members when jointly addressing a task. Together with the individual work of each team member, also called taskwork, in which technical skills and knowledge are brought to bear, this results in the team’s performance , . Several studies have shown that good teamwork reduces the risk of adverse events occurring , .Simulation-based trainings (SBTs) have been shown to be a suitable format to improve team performance by training technical and non-technical skills , . They provide the opportunity for learners to practise their skills in a safe environment . In addition to skills training, simulation training aims at imparting or consolidating knowledge and it also considers participants’ attitude towards a topic (often described as the triad “knowledge, skills and attitude”, or KSA) . Numerous studies have confirmed the positive effects of SBTs and indicate improved clinical outcomes such as lower complication rates and morbidity , , .A key component of simulation training is debriefing, which is a process of (guided) reflection on a simulated scenario . This reflection represents an important part of the learning process in terms of experience-based learning . Feedback, which compares learners’ performance against a known standard, is often a crucial component of debriefing and has been shown to be notably effective , , .There are different types of debriefing, depending on their goals, timing and structure , . Very common are debriefings that take place directly after a simulation has ended. Often, three-phase models are used, in which the participants first report their experiences and collect observations. Then certain sequences are analysed in more detail and errors, their causes and ways how to avoid them in the future are discussed. Finally, the discussion is summarised and goals are set for further collaboration as a team. This structure is known as GAS (gather – analyse – summarise) , . In addition, so-called cognitive aids are used to support the debriefing process. These are scripts or guidelines that list the most important steps during specific (emergency) situations. In practice, they commonly take the form of posters, for example, and have proven to be helpful in many clinical areas , , .It is uncertain which design factors relating to debriefings have an influence on learning success , . For example, it is unclear whether a stronger (content-related) pre-structuring with the help of a cognitive aid can increase learning success compared to a free or merely roughly structured debriefing (that is, on the basis of the GAS guideline but without the cognitive aid described below). An important aspect is the possible effect of pre-structuring on the content and scope of the topics discussed in a debriefing. Initial studies suggest that using a cognitive aid during debriefings has a positive effect on learning success, especially when applied by inexperienced facilitators , because these types of aid can provide practical and specific suggestions as to which aspects can be observed and debriefed on. The present study serves to further clarify the influence of a debriefing supported by a debriefing guideline on the feasibility of the procedure, examines the satisfaction and attitude of the participants, and investigates their teamwork .As a cognitive aid, a guideline called “TEAMwork Techniques Analysis Grid (TeamTAG)” was developed by the working group . TeamTAG uses behavioural anchors to support observations and provides a structure for debriefing. This is to ensure that all learning objectives are discussed during a simulation training and to support the debriefing process from the facilitator’s perspective. The guideline lists six Crisis Resource Management (CRM) principles that aim to help teams respond to crises . Knowing these principles is an elementary first step towards their conscious application – many trainings in continuing education are based on CRM principles [14] and show positive effects in terms of mastering these principles, such as enhanced team communication and management .To compare the pre-structured debriefing using a guideline and the merely roughly structured debriefing according to GAS, we formulated the following research questions:What influence does the use of a guideline have on the scope and content of debriefings on teamwork? How do participants and facilitators evaluate debriefings with a guideline compared to merely roughly structured debriefings?What influence does the use of a debriefing guideline have on participants’ attitudes towards the CRM principles?Can the use of a debriefing guideline lead to an immediate improvement in teamwork? 1. EinleitungFehler in Diagnostik und Behandlung von Patient*innen treten regelmäßig auf und können dabei Schäden verursachen oder sogar zum Tode führen , . Der Anteil von Krankenhauspatient*innen, bei denen sogenannte unerwünschten Ereignisse auftreten, liegt bei 5-10% – ca. die Hälfte davon werden als vermeidbar eingestuft . Oft liegen die Ursachen für vermeidbare unerwünschte Ereignisse im Bereich der „nicht-technischen Fertigkeiten“ (non-technical skills, NTS) , , . Darunter fallen Kommunikation, Führung, Zusammenarbeit und Entscheidungsfindung – oft zusammengefasst unter dem Begriff Teamarbeit oder Teamwork – also alle Interaktionen, die zwischen Teammitgliedern zur gemeinsamen Lösung der Aufgabe ablaufen. Zusammen mit der individuellen Arbeit jedes Teammitglieds, auch Taskwork genannt, bei der technische Fertigkeiten und Wissen zum Tragen kommen, ergibt sich die Teamleistung oder Team Performance , . In mehreren Studien konnte gezeigt werden, dass gute Teamarbeit das Risiko unerwünschter Ereignisse reduziert , .Simulationstrainings haben sich als ein geeignetes Format erwiesen, um durch das Training technischer und nicht-technischer Fertigkeiten die Teamleistung zu verbessern , . Lernende haben hier die Möglichkeit, ihre Fertigkeiten in einer sicheren Umgebung zu üben . Neben dem Training von Fertigkeiten zielen Simulationstrainings auch auf den Erwerb bzw. die Festigung von Wissen und die Einstellung der Teilnehmenden zum Thema ab (oft als Dreiklang „knowledge, skills and attitude – KSA“ beschrieben) . Zahlreiche Studien bestätigen den positiven Effekt von Simulationstrainings und weisen auch auf verbesserte „harte“ Outcomes wie eine geringere Komplikationsrate und Morbidität hin , , . Eine sehr wichtige Komponente von Simulationstrainings ist das Debriefing, also die (angeleitete) Nachbesprechung . Diese Reflexion stellt einen wichtigen Teil des Lernprozesses im Sinne des Erfahrungsbasierten Lernens dar . Feedback, als Rückmeldung an Lernende über ihre Leistung im Vergleich zum angestrebten Standard, ist oft Teil des Debriefings und hat sich als sehr effektiv erwiesen , , .Es werden verschiedene Arten des Debriefings unterschieden, je nach Ziel, Zeitpunkt und Struktur , . Sehr verbreitet sind Debriefings, die direkt nach der Simulation stattfinden. Oft wird dabei eine dreiteilige Struktur verwendet, in der zuerst die Teilnehmenden ihre Erfahrung berichten und Beobachtungen sammeln. Daraufhin werden bestimmte Sequenzen genauer analysiert und auch Fehler, ihre Gründe und ihre zukünftige Vermeidung besprochen. Zuletzt wird das Besprochene zusammengefasst und Ziele für die weitere Zusammenarbeit gesetzt. Diese Struktur ist unter dem Namen GAS (gather – analyse – summarise) bekannt , . Daneben werden sogenannte cognitive aids zur Unterstützung genutzt. Dies sind Strukturierungshilfen oder Leitfäden, die die wichtigsten Schritte während spezifischer (Notfall-) Situationen auflisten. In der Praxis sind sie z.B. als Poster vorhanden und haben sich vielerorts als hilfreich erwiesen , , .Ungewiss ist, welche Gestaltungsfaktoren von Debriefings einen Einfluss auf den Lernerfolg haben , . Zum Beispiel ist ungeklärt, ob eine stärkere (inhaltliche) Vorstrukturierung mithilfe von Debriefing-Leitfäden den Lernerfolg gegenüber einem freien oder nur grob strukturiertem Debriefing (z.B. nach GAS) steigern kann. Ein wichtiger Teilaspekt ist die Frage nach einem möglichen Effekt der Vorstrukturierung auf Inhalt und Umfang der im Debriefing besprochenen Themen. Erste Hinweise deuten an, dass Debriefings unter Einsatz von Strukturierungshilfen besonders bei unerfahrenen Instruktor*innen einen positiven Effekt auf den Lernerfolg haben , weil sie z.B. konkrete Anhaltspunkte liefern, welche Aspekte beobachtet und debrieft werden können. Die vorliegende Studie dient zur weiteren Abklärung des Einflusses eines leitfadengestützten Debriefings auf die Durchführbarkeit des Debriefings, Zufriedenheit und Einstellung der Teilnehmenden und die Teamarbeit .Als Strukturierungshilfe wurde ein Leitfaden namens „TEAMwork Techniques Analysis Grid (TeamTAG)“ durch die Arbeitsgruppe entwickelt . TeamTAG unterstützt mittels behavioraler Anker konkrete Beobachtungen und bietet eine Struktur für die Nachbesprechung. So soll sicherstellt werden, dass alle Lernziele während eines Trainings besprochen werden und die konkrete Durchführung des Debriefings aus Sicht der Instruktor*innen erleichtert wird. Der Leitfaden listet sechs Crisis Resource Management (CRM) Prinzipien auf, die Teams helfen sollen, in Krisen zu agieren . Das Kennen dieser Prinzipien ist ein elementarer erster Schritt hin zu ihrer bewussten Anwendung – viele Trainings in der Weiterbildung [14] basieren auf CRM-Prinzipien und zeigen positive Effekte i.S. der Beherrschung der CRM Prinzipien, z.B. verbesserte Teamkommunikation und -organisation .Für den Vergleich des stark vorstrukturierten Debriefings mit Leitfaden und des nur grob strukturierten Debriefings nach GAS wurden daher folgende Forschungsfragen formuliert:Welchen Einfluss hat die Nutzung eines Leitfadens auf Umfang und Inhalt der Debriefings zur Teamarbeit? Wie bewerten die Teilnehmenden und Instruktor*innen die Durchführung von Debriefings mit Leitfaden im Vergleich zu nur grob strukturierten Debriefings?Welchen Einfluss hat die Nutzung eines Leitfadens im Debriefing auf die Einstellung der Teilnehmenden gegenüber den CRM-Prinzipien?Kann die Verwendung eines Leitfadens im Debriefing zu einer unmittelbaren Verbesserung der Teamarbeit führen? 2. Methods2.1. Study designThe study was planned as a randomised controlled trial and conducted at the local skills lab at Charité Universitätsmedizin Berlin. The research design has already been published as a study protocol .During a simulated night shift in an emergency department, teams of four to five students worked through six simulation scenarios. The simulation started in the evening and continued throughout the night to make it as realistic as possible and to give students the opportunity to experience the stress of working at night. Directly after each scenario, they received a debriefing on their teamwork (see figure 1 ) . Teams were randomised to one of two conditions: in the intervention condition, the debriefing took place according to the GAS structure and using the debriefing TeamTAG guideline. In the control condition, debriefing was conducted according to GAS but without further guidance. 2.2. TeamTAGTeamTAG lists six CRM principles, each with associated observable behaviours. The principles were selected to match the simulation scenario, the participants’ skill level, the facilitators’ level of experience, and the observability of the principles during the simulation.TeamTAG can be found in attachment 1 ; a feasibility study was published as part of the study protocol .2.3. ParticipantsMedical students who had completed the tenth semester of their studies in human medicine (before or after the second part of the state examination) and who had voluntarily registered for the study were included. All participants were informed in writing and verbally about the study’s objective and procedure before it was carried out. The study was approved by a Data Protection Officer (AZ 737/16) and the Charité Ethics Committee (EA2/172/16). According to the calculation of power and sample size, six teams would be necessary to detect a meaningful difference between conditions, defined as a significant improvement of 11 points in the TEAM sum score (one point per item, see 2.6.4) .2.4. Simulation scenariosAll teams rotated through six simulation scenarios. These represented common and important cases in emergency medicine where teamwork is highly relevant (such as resuscitation). Due to the rotation principle, the order of the cases varied depending on the team . Before the start of each case, the students designated a team leader and two team members to handle the case; the remaining one or two team members observed the simulation. These changes in team structure allowed the students to experience different roles and their associated challenges over the course of the simulated night shift.2.5. Debriefing of teamworkEach case was followed by a ten-minute debriefing of the teamwork by one facilitator per team according to the GAS principle , ; in each debriefing, one or more CRM principles were discussed in the analysis phase.The seven facilitators were advanced medical and nursing students who were also experienced peer tutors. In preparation, all tutors received training in the CRM concept and on debriefing according to the GAS structure. The intervention group facilitators also received an introduction to the use of TeamTAG and were instructed to address all six CRM principles of TeamTAG during the first five debriefings. The control group facilitators were instructed to choose any of the CRM principles as the topic of the debriefing – matched to what they observed in the simulation. Furthermore, facilitators in both conditions were instructed to repeat any content if necessary.2.6. Measures2.6.1. Initial surveyParticipants completed an initial survey on prior emergency medicine experience and on demographic variables. Participants then discussed in their teams what principles of teamwork they already knew (CRM baseline). Afterwards, each team collectively solved 15 multiple-choice questions on emergency medicine to assess prior medical knowledge.2.6.2. Content and scope of debriefingsAfter each debriefing, the instructors noted the topics they discussed with the participants.2.6.3. Satisfaction with debriefingsAfter each debriefing, participants rated whether they found it helpful (ranging from +3: strongly agree to -3: strongly disagree).2.6.4. Quality of teamworkThe Teamwork Emergency Assessment Measure (TEAM) was used to evaluate teamwork . It was developed for use in simulated and ‘real’ emergency scenarios , and the original English version and the French translation demonstrate excellent psychometric properties . In an earlier study by the working group, TEAM was translated into German and validated .TEAM evaluates the behaviour of the whole team by means of 11 items in three categories on 5-point Likert scales (0: behaviour was never/almost never shown, 4: behaviour was always/almost always shown). The assigned ratings can be added up to a sum score (0-44). In addition, overall performance was assessed by means of a global rating scale or GRS (1: very poor performance, 10: very good performance). During the study, teamwork was evaluated in every scenario by one student rater and one professional rater (a physician or psychologist with experience in emergency medicine and in medical simulations), and the mean of both ratings was used for the analyses. A total of six student raters and six professional raters, who had previously been trained in the use of TEAM, participated.2.6.5. Final surveyAfter completing all simulations, participants rated how relevant they thought the 15 CRM principles were (+3: very relevant, -3: not relevant at all).2.7. AnalysisThe demographic characteristics of both the intervention and the control conditions were compared to identify potential confounders. The participants’ prior knowledge of teamwork and the information provided by the tutors on the CRM principles they had addressed during debriefings were mapped to the 15 CRM principles independently by two raters and then agreed upon. Possible differences between the conditions were examined using Chi-square tests, t-tests, and an analysis of covariance (ANCOVA). 2. Methoden2.1. Aufbau der StudieDie Studie wurde als randomisiert-kontrollierte Studie geplant und im Lernzentrum der Charité – Universitätsmedizin Berlin durchgeführt. Die Methodik wurde bereits als Studienprotokoll veröffentlicht .Während eines simulierten Nachtdienstes in der Notaufnahme durchliefen Studierende in Teams von je vier bis fünf Personen sechs Simulationsszenarien. Die Simulation fand abends bzw. nachts statt, um sie möglichst realistisch zu gestalten und für die Studierenden die Belastung eines Nachtdiensts erlebbar zu machen. Nach jeden Szenario erhielten sie ein Debriefing zu ihrer Teamarbeit (siehe Abbildung 1 ) . Die Teams wurden zu einer von zwei Bedingungen randomisiert: In der Interventionsbedingung fand das Debriefing nach GAS-Struktur und unter Nutzung des Debriefing-Leitfadens „TeamTAG“ statt. In der Kontrollbedingung wurde das Debriefing nach GAS ohne weitere Vorgaben durchgeführt. 2.2. TeamTAGDer TeamTAG listet sechs CRM-Prinzipien mit jeweils dazugehörigen beobachtbaren Verhaltensweisen auf. Die Prinzipien wurden nach ihrer Passung zum Simulationsszenario, den Fertigkeiten der Teilnehmenden, der Erfahrung der Tutor*innen, sowie der Beobachtbarkeit der Prinzipien während der Simulation ausgewählt.Der TeamTAG ist in Anhang 1 zu finden; eine Machbarkeitsstudie wurde als Teil des Studienprotokolls veröffentlicht .2.3. TeilnehmendeEingeschlossen wurden Studierende der Charité, die das 10. Semester Humanmedizin abgeschlossen hatten (und vor oder nach dem 2. Abschnitt der ärztlichen Prüfung standen) und sich freiwillig für die Studie anmeldeten. Alle Teilnehmenden wurden vor der Durchführung schriftlich und mündlich über Studienziel und -ablauf informiert. Die Studie wurde vom Datenschutz (AZ 737/16) und der Ethikkommission der Charité (EA2/172/16) genehmigt. Nach der Fallzahlberechnung wären sechs Teams notwendig, um einen bedeutsamen Unterschied zwischen den Bedingungen, definiert als signifikante Verbesserung von 11 Punkten im Summenscore des TEAM (ein Punkt pro Item, siehe 2.6.4), zu detektieren .2.4. SimulationenDie Teams durchliefen im Rotationsprinzip sechs Fälle. Diese repräsentieren häufige und wichtige Kasuistiken der Notfallmedizin, in denen Zusammenarbeit von hoher Relevanz ist (z.B. Reanimation). Durch das Rotationsprinzip variierte die Reihenfolge der Fälle je nach Team . Vor Beginn jedes Falles bestimmten die Studierenden eine Teamleitung und zwei Teammitglieder, die den Fall bearbeiteten; die restlichen ein bzw. zwei Teammitglieder nahmen die Beobachterrolle ein. Dieser Wechsel sollte den Studierenden ermöglichen, die verschiedenen Rollen und deren An- bzw. Herausforderungen im Laufe des simulierten Nachtdienstes zu erleben.2.5. Debriefing der TeamarbeitNach jedem Fall erfolgte ein ca. 10-minütiges Debriefing der Teamarbeit durch eine*n Tutor*in pro Team nach dem GAS-Prinzip , ; jeweils in der Analyse-Phase wurde Bezug auf ein oder mehrere CRM-Prinzipien genommen.Die sieben Tutor*innen waren Studierende der Medizin und Pflege, die ebenfalls erfahrene Peer-Tutor*innen waren. In der Vorbereitung erhielten alle Tutor*innen ein Training zum CRM-Konzept und dem Debriefing nach GAS. Die Tutor*innen der Interventionsgruppe erhielten außerdem eine Einführung in die Nutzung des TeamTAG und wurden instruiert, alle sechs CRM-Prinzipien des TeamTAGs in den ersten fünf Stationen anzusprechen. Die Tutor*innen der Kontrollgruppe wurden angewiesen, beliebige CRM-Prinzipien zum Thema des Debriefings zu machen – abgestimmt auf die beobachtete Simulation. Des Weiteren wurden die Tutor*innen beider Konditionen instruiert, bei Bedarf Inhalte zu wiederholen. 2.6. Messinstrumente2.6.1. VoraussetzungenDie Teilnehmenden füllten einen Eingangsfragebogen zu Vorerfahrungen in der Notfallmedizin und demographischen Angaben aus. Im Anschluss besprachen die Teilnehmenden in ihren Teams, welche Prinzipien der Teamarbeit sie bereits kannten (CRM Baseline). Danach lösten die Teams gemeinsam 15 Multiple-Choice-Fragen zur Notfallmedizin, um medizinisches Vorwissen zu erfassen.2.6.2. Inhalte und Umfang der DebriefingsNach jedem Debriefing notierten die Tutor*innen die besprochenen Themen.2.6.3. Zufriedenheit mit den DebriefingsNach jedem Debriefing bewerteten die Teilnehmenden, ob sie dieses hilfreich fanden (+3: stimme voll zu, -3: stimme gar nicht zu).2.6.4. Qualität der TeamarbeitZur Bewertung der Teamarbeit wurde der „Teamwork Emergency Assessment Measure“ (TEAM) verwendet , welcher für den Einsatz in simulierten und „echten“ Notfallszenarien entwickelt wurde , . Das englische Original und die französische Übersetzung zeigen dabei exzellente Testgütekriterien auf . In einer früheren Studie der Arbeitsgruppe wurde TEAM ins Deutsche übersetzt und validiert .TEAM bewertet das Verhalten des gesamten Teams mittels 11 Items in drei Kategorien auf 5-stufigen Likert-Skalen (0: Verhalten nie/fast nie gezeigt, 4: Verhalten immer/fast immer gezeigt). Die vergebenen Ratings werden in der Auswertung aufsummiert (0-44). Zusätzlich wird die Gesamtleistung durch ein Item erfasst (global rating scale, GRS; 1: sehr schlechte Leistung, 10: sehr gute Leistung). Während der Studie wurde bei jedem Fall die Teamarbeit durch eine/n studentische/n Tutor*in und eine/n professionelle/n Rater*in (Ärzt*innen bzw. Psychologin mit Erfahrung in Notfallmedizin/Simulation) bewertet und der Mittelwert beider Ratings für die Analysen genutzt. Insgesamt waren sechs studentische und sechs professionelle Rater*innen im Einsatz, die zuvor in der Anwendung von TEAM geschult wurden.2.6.5. AbschlussNach Abschluss aller Simulationen gaben die Teilnehmenden bezüglich aller 15 CRM-Prinzipien an, für wie relevant sie diese hielten (+3: sehr relevant, -3: gar nicht relevant). 2.7. AnalyseDemographische Angaben der Teilnehmenden wurden zwischen Interventions- und Kontrollbedingung verglichen, um mögliche Confounder zu identifizieren. Das Vorwissen der Teilnehmenden bzgl. Teamarbeit und die Angaben der Tutor*innen zu angesprochenen CRM-Prinzipien wurden von zwei Rater*innen unabhängig voneinander auf die 15 CRM-Prinzipien gemappt und dann konsentiert. Mögliche Unterschiede zwischen den Bedingungen wurden mittels Chi2 Tests, t-Tests, sowie einer Kovarianzanalyse (ANCOVA) untersucht. 3. Results3.1. Demographic data/confounderThirty-two medical students participated in the study (see table 1 ). They were randomised into four intervention groups (n=19; three groups of 5 participants each, one of 4 participants) and three control groups (n=13; one group of 5 participants each, two of 4 participants).The participants under the intervention and control conditions did not differ in their demographic characteristics, prior experience, or emergency medicine knowledge level (see table 1 ). However, teams in the control condition knew more CRM principles at baseline. However, this was not associated with better teamwork in the first case.3.2. Scope of debriefingsIn total, the groups in the intervention condition discussed an average of M=7.50 principles (SD=1.29) and M=6.33 principles (SD=3.06) in the control condition, t(5)=- 0.70, p=.51 (see figure 2 ).3.3. Content of debriefingsAs can be seen in figure 2 , the CRM principles listed in the TeamTAG were discussed more consistently in the intervention condition than in the control condition; additional principles, on the other hand, were rarely talked about. In the intervention condition, the groups discussed a median of 5 (min=4; max=6) of the six TeamTAG principles; in the control condition, a median of 3 (min=2; max=5) principles.Figure 3 breaks down how often principles were repeated. It shows that, within the intervention group, ‘new’ topics were mostly discussed in each debriefing. An exception is case 6, where a repetition was instructed. The control groups, on the other hand, more frequently repeated CRM principles, especially the principles 4, 7 and 12 (role of leadership or team member, safe communication and re-evaluating situations), which are also mentioned in TeamTAG. 3.4. Facilitators’ rating of TeamTAGFacilitators in both conditions stated that they were able to observe and debrief the teamwork (Mcontrol=2.00, SD=1.00; MIntervention=2.25, SD=0.96), t(5)=-0.34, p=0.75. In the intervention group, the facilitators also reported that they had enough time to debrief (MIntervention=2.50 SDIntervention=0. 587), whereas in the control group they were undecided (Mcontrol=0.33, SDcontrol=2.08), t(2.2)=-1.75, p=.21. In the intervention condition, the facilitators described the TeamTAG as easy to handle (M=2.00, SD=1.16) and clearly structured (M=2.25, SD=0.96) and stated that it had helped them to conduct the debriefing (M=2.50, SD=0.58).3.5. Satisfaction with debriefingsParticipants in both conditions expressed high levels of satisfaction with the debriefings across all stations (M=2.37-2.85; all p≥.06, see attachment 2 , here table 1).3.6. Importance of CRM principlesIn the final survey, participants in both conditions rated all CRM principles as relevant or very relevant (M=1.94-2.77; all p≥.06, see attachment 2 , here table 2).3.7. Effect on teamworkTo test whether the type of debriefing would have a direct effect on teamwork, an ANCOVA was conducted with the TEAM sum score of the last (6th) case as the dependent variable, the condition (type of debriefing) as the independent variable, and the following covariates: CRM baseline, TEAM sum score of the 1st case, and type of the 6th case. The analysis revealed no effect of the type of debriefing on teamwork in the last case (F(1,1)=7.38, p=.23). 3. Ergebnisse3.1. Demographie/ConfounderAn der Studie nahmen 32 Studierende der Humanmedizin teil (siehe Tabelle 1 ). Diese wurden in vier Interventionsgruppen (n=19; drei Gruppen à 5 Teilnehmenden, eine à 4 Teilnehmenden) und drei Kontrollgruppen (n=13; eine Gruppe à 5 Teilnehmenden, 2 à 4 Teilnehmenden) randomisiert. Die Teilnehmenden der Interventions- und Kontrollbedingung unterschieden sich nicht hinsichtlich demografischer Merkmale, Vorerfahrungen oder dem notfallmedizinischen Wissensniveau (siehe Tabelle 1 ). Allerdings kannten die Teams der Kontrollbedingung zu Beginn mehr CRM-Prinzipien. Dies ging jedoch nicht mit einer besseren Teamarbeit im ersten Fall einher. 3.2. Anzahl der besprochenen CRM-PrinzipienInsgesamt wurden in der Interventionsbedingung im Mittel M=7.50 (SD=1.29) und in der Kontrollbedingung M=6.33 (SD=3.06) CRM-Prinzipien besprochen, t(5)=- 0.70, p=.51 (siehe Abbildung 2 ). 3.3. Inhalte der DebriefingsWie in Abbildung 2 ersichtlich, wurden in der Interventionsbedingung die im TeamTAG aufgeführten CRM-Prinzipien konsistenter besprochen als in der Kontrollbedingung; zusätzliche Prinzipien wurden dagegen selten benannt. In der Interventionsbedingung waren es im Median 5 (min=4; max=6) der 6 TeamTAG-Prinzipien, in der Kontrollbedingung im Median 3 (min=2; max=5) Prinzipien.Abbildung 3 schlüsselt auf, wie häufig einmal angesprochene Prinzipien wiederholt wurden. Es zeigt sich, dass innerhalb der Interventionsgruppe pro Debriefing meist bisher ungenannte Themen angesprochen wurden. Eine Ausnahme bildet Fall 6, wo eine Wiederholung instruiert wurde. Die Kontrollgruppen dagegen wiederholten häufiger besonders die auch im TeamTAG vorhandenen CRM-Prinzipien 4, 7 und 12 (Rolle von Führung bzw. Teammitglied, sichere Kommunikation und Re-evaluieren von Situationen). 3.4. Einschätzung des TeamTAG durch Tutor*innenDer Frage, ob es ihnen gut möglich war, die Teamarbeit zu beobachten und zu debriefen, stimmten die Tutor*innen beider Bedingungen zu (MKontroll=2.00, SD=1.00; MIntervention=2.25, SD=0.96), t(5)=-0.34, p=0.75. In der Interventionsgruppe berichten die Tutor*innen auch, dass sie genügend Zeit hatten, das Debriefing durchzuführen (MIntervention=2.50 SDIntervention=0.587), in der Kontrollgruppe waren sie unentschieden (MKontroll=0.33, SDKontroll=2.08), t(2.2)=-1.75, p=.21. Die Tutor*innen, die mit dem TeamTAG gearbeitet hatten, beschrieben diesen zusätzlich als gut handhabbar (M=2.00, SD=1.16) und übersichtlich (M=2.25, SD=0.96) und gaben an, dass er ihnen bei der Durchführung des Debriefings geholfen habe (M=2.50, SD=0.58).3.5. Zufriedenheit mit DebriefingDie Teilnehmenden beider Bedingungen zeigten sich über alle Stationen hinweg sehr zufrieden mit den Debriefings (M=2.37-2.85; alle p≥.06, siehe Anhang 2 , hier Tabelle 1).3.6. Wichtigkeit der CRM-PrinzipienIn der Abschlussbefragung schätzten die Teilnehmenden beider Bedingungen alle CRM-Prinzipien als relevant bis sehr relevant ein (M=1.94-2.77; alle p≥.06, siehe Anhang 2 , hier Tabelle 2).3.7. Entwicklung der Team PerformanceUm zu überprüfen, ob die Art des Debriefings direkten Einfluss auf die Teamarbeit haben würde, wurde eine ANCOVA mit dem TEAM Summenscore des letzten (6.) Falls als abhängiger Variable, der Bedingung (Art des Debriefings) als unabhängige Variable und den Kovariaten CRM-Baseline, dem TEAM Summenscore des 1. Falles und der Art des 6. Falls durchgeführt. Die Analyse ergab keinen Effekt der Art des Debriefings auf die Teamarbeit im letzten Fall (F(1,1)=7.38, p=.23). 4. DiscussionThe present study compares the effects of debriefings after simulated emergency situations with and without the use of a guideline called TeamTAG . Our analyses show that by using the guideline, the repetition of debriefing topics is avoided, new topics are addressed, and the CRM principles that are rated as relevant for the specific simulation are actually addressed. Thus, if certain learning objectives are to be achieved, the use of a structuring cognitive aid can be helpful. For example, this approach can be used when teaching the basics of teamwork. Our observation that the topics in the control condition were more heterogeneous, and that the number of repetitions was higher, can be seen as signs of a stronger focus on the learners’ needs. Thus, debriefing without a guideline appears to be more learner-focused. Alternatively, it is possible that the repetitions are caused by a lack of new topics or ideas from participants and facilitators. Therefore, this approach seems to be more suitable for more experienced participants and facilitators to enable a differentiated debriefing , , .Participants and the facilitators were satisfied with both debriefing methods. Only the time available for debriefing was not sufficient for some facilitators in the control group – a sign that the use of the guideline simplifies time management. This finding is a further argument for the use of a structuring cognitive aid in the case of inexperienced instructors or for debriefings in everyday clinical practice, for which usually little time is available .The use of the guideline did not lead to the CRM principles being rated as more relevant than without the use of the guide. A possible explanation could be that the experience of teamwork during the simulations (which did not differ between conditions), and not so much the debriefing itself, influenced the perceived relevance of the CRM principles.Finally, the present study could not detect any difference in the quality of teamwork depending on the debriefing. An expected improvement through greater pre-structuring could not be shown. Looking at this finding from another perspective, it means that the type of debriefing can be adapted to the learning objectives and learners without having to risk reductions in learner satisfaction or negative effects on trainees’ perceptions of CRM principles and teamwork quality. In this context, it must be pointed out that the simulated night shift focused on other aspects besides practising teamwork as well, such as experiencing the impact of fatigue on one’s ability to work. It is possible that this led to a lower cognitive capacity during the debriefings, which could also serve as an explanation for the lack of improvement in performance. In addition, for educational reasons, the roles of team leaders, members, and observers changed from case to case. This makes continuous improvement in teamwork quality more difficult and limits the generalisability of the study. In a study by Cheng et al. , which was able to show a better learning outcome after structured debriefings, the teams worked on virtually the same scenario before and after debriefing (with different starting points), whereas in the present study all six cases were different. Furthermore, a post-measurement of the teamwork quality some weeks or months after the SBT would be necessary to be able to make statements about possible long-term learning effects. After all, it has already been shown that participants in SBTs who planned to make changes after the training also implemented these changes in the majority of cases .For a further investigation of the effects of TeamTAG in comparison with other debriefing scripts and guidelines, studies with fixed team structures and a larger number of groups should be conducted. Especially, the three teams of the control condition showed very heterogeneous results – for example, with regard to the number of topics discussed – which made it difficult to compare the findings to those from the intervention condition. These differences between the teams in the control and intervention conditions also suggest that, despite the structure applied by means of the TeamTAG cognitive aid, debriefing and its effects on learning remain highly dependent on the instructor , . 4. DiskussionDie vorliegende Studie vergleicht die Auswirkungen von Debriefings nach simulierten Notfallsituationen mit bzw. ohne den Einsatz eines Leitfadens, dem TeamTAG . Unsere Analysen zeigen, dass durch Nutzen des Leitfadens Wiederholungen der Debriefing-Themen vermieden, neue Themen angesprochen und die als relevant gewerteten CRM-Prinzipien tatsächlich thematisiert werden. Sofern also bestimmte Lernziele zu erreichen sind, kann der Einsatz einer Strukturierungshilfe die Fokussierung auf diese unterstützen. Dieses Vorgehen kann z.B. in der Vermittlung von Grundlagen der Teamarbeit genutzt werden. Unsere Beobachtung, dass die Themen in der Kontrollbedingung heterogener, insbesondere aber die Wiederholungen höher waren, kann als Zeichen einer höheren Bedarfsorientierung an die Lernenden gesehen werden. Ein Debriefing ohne Leitfaden erscheint somit Lernenden-fokussierter. Möglich ist alternativ, dass die Wiederholungen Ausdruck eines Mangels an neuen Themen bzw. Ideen von Teilnehmenden und Tutor*innen sind. Aus diesem Grund bietet sich dieser Ansatz eher bei fortgeschrittenen Teilnehmenden und erfahrenen Instruktor*innen an, um ein differenziertes Debriefing zu ermöglichen , , . Sowohl die Teilnehmenden als auch die Tutor*innen zeigten sich mit beiden Debriefingmethoden zufrieden. Lediglich die Zeit zum Debriefing reichte für manche Tutor*innen der Kontrollgruppe nicht aus – ein Hinweis darauf, dass der Einsatz der Strukturierungshilfe das Zeitmanagement vereinfacht. Dieser Befund ist ein weiteres Argument für die Nutzung einer Strukturierungshilfe im Fall von unerfahrenen Instruktor*innen bzw. für Debriefings im klinischen Alltag, für die meist nur wenig Zeit zur Verfügung steht .Die Nutzung des Leitfadens führte nicht dazu, dass die CRM-Prinzipien als relevanter eingestuft wurden als ohne Nutzung des Leitfadens. Eine mögliche Erklärung könnte sein, dass die unmittelbare Erfahrung der Teamarbeit während der Simulationen (die sich nicht zwischen den Bedingungen unterschied) und nicht so sehr die Nachbesprechung die Einschätzung der CRM-Prinzipien beeinflusste.Schließlich konnte die vorliegende Arbeit keinen Unterschied in der Qualität der Teamarbeit in Abhängigkeit des Debriefings zeigen. Eine erwartete Verbesserung durch größere Vorstrukturierung blieb aus, bedeutet aber im Umkehrschluss, dass die Art des Debriefings an die Lernziele und Lernenden angepasst werden kann ohne Nachteile in Zufriedenheit, Wahrnehmung von CRM-Prinzipien und objektivierbarer Leistung befürchten zu müssen. In diesem Zusammenhang muss darauf hingewiesen werden, dass bei der durchgeführten Simulationsnacht neben dem Üben der Teamarbeit auch andere Aspekte im Fokus standen, wie z.B. das Erfahren des Einflusses von Müdigkeit auf die eigene Arbeitsfähigkeit. Es ist möglich, dass dies auch mit einer geringeren Aufnahmefähigkeit im Debriefing einherging und die fehlende Leistungsverbesserung damit zusammenhängt. Zusätzlich wechselten aus edukativen Gründen von Fall zu Fall die Rollen von Teamleitung, -mitgliedern und Beobachter*innen. Auch dies macht eine kontinuierliche Verbesserung der Zusammenarbeit schwieriger und limitiert die Aussagekraft der Studie. In einer Studie von Cheng et al. , die einen besseren Lernerfolg nach strukturierten Debriefings zeigen konnte, bearbeiteten die Teams vor und nach Debriefing quasi das gleiche Szenario mit unterschiedlicher Ausgangssituation, in der vorliegenden Studie dagegen waren alle 6 Fälle unterschiedlich. Des Weiteren wäre eine Post-Messung der Teamarbeit mit zeitlichem Abstand nötig, um Aussagen über mögliche langfristige Lerneffekte treffen zu können. Immerhin konnte bereits gezeigt werden, dass Teilnehmende von Simulationstrainings, die sich nach der Teilnahme Veränderungen vornahmen, diese auch mehrheitlich umsetzten .Für eine weitere Untersuchung der Effekte des TeamTAG im Vergleich zu anderen Debriefing-Strukturen sollten daher weitere Untersuchungen mit festen Teamstrukturen und einer größeren Anzahl an Gruppen durchgeführt werden. Besonders die drei Teams der Kontrollgruppe zeigten sehr heterogene Ergebnisse – z.B. im Hinblick auf die Anzahl der besprochenen Themen – was den Vergleich zur Interventionsgruppe erschwerte. Die Unterschiede innerhalb der Kontroll- und Interventionsbedingung zeigen auch, dass das Debriefing und sein Lerneffekt trotz der angewendeten Struktur stark abhängig vom Debriefenden bleibt , . 5. ConclusionsCognitive aids such as TeamTAG can be used to predefine thematic focuses and the structure of debriefings and thus help to adapt them to the different levels of learners. Furthermore, the use of a guideline supports time management during debriefings. 5. SchlussfolgerungenStrukturierungshilfen wie der TeamTAG können genutzt werden, um thematische Schwerpunkte und die Struktur von Debriefings vorzugeben und somit dabei helfen, diese an das Niveau der Lernenden anzupassen. Auch das Zeitmanagement wird durch den Einsatz eines Leitfadens unterstützt. DataData for this article are available form the Dryad Digital Repository: https://doi.org/10.5061/dryad.02v6wwq2t DatenDaten für diesen Artikel sind im Dryad-Repositorium verfügbar unter: https://doi.org/10.5061/dryad.02v6wwq2t FundingNo specific funding was available for this study. JF was partially funded by the Quality Pact for Teaching from the German Federal Ministry of Education and Research (BMBF) (grant number: 01PL16036). WEH received research funding from the Swiss National Science Foundation and Mundipharma Research UK, as well as honoraria for consulting services from the AO Foundation Zurich. In each case, there was no connection to the present study. JEK received a Marie Sklodowska-Curie funding through Horizon 2020, an EU Framework Program for Research and Innovation (grant no. 894536, project “TeamUp”). FörderungFür diese Studie standen keine spezifischen Fördermittel zur Verfügung. JF wird zum Teil über den Qualitätspakt Lehre vom Bundesministerium für Bildung und Forschung finanziert (Fördernummer: 01PL16036). WEH erhielt Forschungsförderung vom Schweizerischen Nationalfonds und von Mundipharma Research UK, sowie Honorare für Beratungstätigkeiten der AO Fundation Zürich – es bestand jeweils kein Zusammenhang zur vorliegenden Studie. JEK erhielt über das EU-Rahmenprogramm für Forschung und Innovation „Horizont 2020“ eine Marie-Sklodowska-Curie-Förderung (Grant-Nr. 894536). AcknowledgementsWe would like to thank everyone who participated in the study. Furthermore, we thank Prof. Dr. Stefan Schauber for his advice on the statistical analysis. DanksagungWir bedanken uns bei allen, die an der Studie teilgenommen haben. Des Weiteren danken wir Prof. Dr. Stefan Schauber für seine Beratung bei der statistischen Auswertung. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben. Kohn LT Corrigan JM Donaldson MS 2000 To err is human Kohn LT, Corrigan JM, Donaldson MS, editors. To err is human. Washington, D.C.: National Academy Press; 2000. Makary MA Daniel M Medical error-the third leading cause of death in the US 2016 BMJ i2139 Makary MA, Daniel M. Medical error-the third leading cause of death in the US. BMJ. 2016;353:i2139. DOI: 10.1136/bmj.i2139 https://doi.org/10.1136/bmj.i2139 Schrappe M 2018 APS-Weißbuch Patientensicherheit Schrappe M. APS-Weißbuch Patientensicherheit. Berlin: MWV Medizinisch Wissenschaftliche Verlagsgesellschaft; 2018. Waeschle RM Bauer M Schmidt CE Fehler in der Medizin 2015 Anaesthesist 689-704 Waeschle RM, Bauer M, Schmidt CE. Fehler in der Medizin. Anaesthesist. 2015;64(9):689-704. DOI: 10.1007/s00101-015-0052-4 https://doi.org/10.1007/s00101-015-0052-4 Yang SH Jerng JS Chen LC Li YT Huang HF Wu CL Chan JY Huang SF Liang HW Sun JS Incidence of patient safety events and process-related human failures during intra-hospital transportation of patients: retrospective exploration from the institutional incident reporting system 2017 BMJ Open e017932 Yang SH, Jerng JS, Chen LC, Li YT, Huang HF, Wu CL, Chan JY, Huang SF, Liang HW, Sun JS. Incidence of patient safety events and process-related human failures during intra-hospital transportation of patients: retrospective exploration from the institutional incident reporting system. BMJ Open. 2017;7(11):e017932. DOI: 10.1136/bmjopen-2017-017932 https://doi.org/10.1136/bmjopen-2017-017932 Flin R O'Connor P Crichton M 2008 Safety at the Sharp End. A Guide to Non-Technical Skills Flin R, O'Connor P, Crichton M. Safety at the Sharp End. A Guide to Non-Technical Skills. Aldershot: Ashgate; 2008. Schmutz JB Meier LL Manser T How effective is teamwork really? The relationship between teamwork and performance in healthcare teams: a systematic review and meta-analysis 2019 BMJ Open e028280 Schmutz JB, Meier LL, Manser T. How effective is teamwork really? The relationship between teamwork and performance in healthcare teams: a systematic review and meta-analysis. BMJ Open. 2019;9(9):e028280. DOI: 10.1136/bmjopen-2018-028280 https://doi.org/10.1136/bmjopen-2018-028280 Thayer AL Rico R Salas E Marlow SL Teams at work 2014 An Introduction to Contemporary Work Psychology 434-457 Thayer AL, Rico R, Salas E, Marlow SL. Teams at work. In: Peeters MCW, de Jonge J, Taris TW, editors. An Introduction to Contemporary Work Psychology. 1st ed. Chichester: Wiley Blackwell; 2014. p.434-457. Herzberg S Hansen M Schoonover A Skarica B McNulty J Harrod T Snowden JM Lambert W Guise JM Association between measured teamwork and medical errors: an observational study of prehospital care in the USA 2019 BMJ Open e025314 Herzberg S, Hansen M, Schoonover A, Skarica B, McNulty J, Harrod T, Snowden JM, Lambert W, Guise JM. Association between measured teamwork and medical errors: an observational study of prehospital care in the USA. BMJ Open. 2019;9(10):e025314. DOI: 10.1136/bmjopen-2018-025314 https://doi.org/10.1136/bmjopen-2018-025314 Murphy M Curtis K McCloughen A What is the impact of multidisciplinary team simulation training on team performance and efficiency of patient care? An integrative review 2016 Australas Emerg Nurs J 44-53 Murphy M, Curtis K, McCloughen A. What is the impact of multidisciplinary team simulation training on team performance and efficiency of patient care? An integrative review. Australas Emerg Nurs J. 2016;19(1):44-53. DOI: 10.1016/j.aenj.2015.10.001 https://doi.org/10.1016/j.aenj.2015.10.001 Issenberg BS McGaghie WC Petrusa ER Gordon DL Scalese RJ Features and uses of high-fidelity medical simulations that lead to effective learning: a BEME systematic review 2005 Med Teach 10-28 Issenberg BS, McGaghie WC, Petrusa ER, Gordon DL, Scalese RJ. Features and uses of high-fidelity medical simulations that lead to effective learning: a BEME systematic review. Med Teach. 2005;27(1):10-28. DOI: 10.1080/01421590500046924 https://doi.org/10.1080/01421590500046924 Bearman M Nestel D Andreatta P Simulation-based medical education 2013 Oxford Textbook of Medical Education 186-197 Bearman M, Nestel D, Andreatta P. Simulation-based medical education. In: Walsh K, editor. Oxford Textbook of Medical Education. Oxford: Oxford University Press; 2013. p.186-197. DOI: 10.1093/med/9780199652679.003.0016 https://doi.org/10.1093/med/9780199652679.003.0016 Salas E Tannenbaum SI Kraiger K Smith-Jentsch KA The Science of Training and Development in Organizations: What Matters in Practice 2012 Psychol Sci Public Interest 74-101 Salas E, Tannenbaum SI, Kraiger K, Smith-Jentsch KA. The Science of Training and Development in Organizations: What Matters in Practice. Psychol Sci Public Interest. 2012;13(2):74-101. DOI: 10.1177/1529100612436661 https://doi.org/10.1177/1529100612436661 Buljac-Samardzic M Doekhie KD van Wijngaarden JD Interventions to improve team effectiveness within health care: a systematic review of the past decade 2020 Hum Resour Health 2 Buljac-Samardzic M, Doekhie KD, van Wijngaarden JD. Interventions to improve team effectiveness within health care: a systematic review of the past decade. Hum Resour Health. 2020;18(1):2. DOI: 10.1186/s12960-019-0411-3 https://doi.org/10.1186/s12960-019-0411-3 Boet S Bould MD Fung L Qosa H Perrier L Tavares W Reeves S Tricco AC Transfer of learning and patient outcome in simulated crisis resource management: a systematic review 2014 Can J Anaesth 571-582 Boet S, Bould MD, Fung L, Qosa H, Perrier L, Tavares W, Reeves S, Tricco AC. Transfer of learning and patient outcome in simulated crisis resource management: a systematic review. Can J Anaesth. 2014;61(6):571-582. DOI: 10.1007/s12630-014-0143-8 https://doi.org/10.1007/s12630-014-0143-8 Cheng A Eppich W Grant V Sherbino J Zendejas B Cook DA Debriefing for technology-enhanced simulation: a systematic review and meta-analysis 2014 Med Educ 657-666 Cheng A, Eppich W, Grant V, Sherbino J, Zendejas B, Cook DA. Debriefing for technology-enhanced simulation: a systematic review and meta-analysis. Med Educ. 2014;48(7):657-666. DOI: 10.1111/medu.12432 https://doi.org/10.1111/medu.12432 Kolb DA 2014 Experiential Learning: Experience as the Source of Learning and Development Kolb DA. Experiential Learning: Experience as the Source of Learning and Development. 2nd ed. Upper Saddle River, NJ: Pearson Education; 2014. van de Ridder JM Stokking KM McGaghie WC ten Cate OT What is feedback in clinical education? 2008 Med Educ 189-197 van de Ridder JM, Stokking KM, McGaghie WC, ten Cate OT. What is feedback in clinical education? Med Educ. 2008;42(2):189-197. DOI: 10.1111/j.1365-2923.2007.02973.x https://doi.org/10.1111/j.1365-2923.2007.02973.x Sawyer T Eppich W Brett-Fleegler M Grant V Cheng A More than one way to debrief: a critical review of healthcare simulation debriefing methods 2016 Simul Health 209-217 Sawyer T, Eppich W, Brett-Fleegler M, Grant V, Cheng A. More than one way to debrief: a critical review of healthcare simulation debriefing methods. Simul Health. 2016;11(3):209-217. DOI: 10.1097/SIH.0000000000000148 https://doi.org/10.1097/SIH.0000000000000148 Oriot D Alinier G 2018 Pocket Book for Simulation Debriefing in Healthcare Oriot D, Alinier G. Pocket Book for Simulation Debriefing in Healthcare. Cham: Springer International Publishing; 2018. DOI: 10.1007/978-3-319-59882-6 https://doi.org/10.1007/978-3-319-59882-6 Phrampus PE O'Donnell JM Debriefing Using a Structured and Supported Approach 2013 The Comprehensive Textbook of Healthcare Simulation 73-84 Phrampus PE, O'Donnell JM. Debriefing Using a Structured and Supported Approach. In: Levine AL, DeMaria SJ, Schwartz AD, Sim AJ, editors. The Comprehensive Textbook of Healthcare Simulation. New York: Springer; 2013. p.73-84. DOI: 10.1007/978-1-4614-5993-4_6 https://doi.org/10.1007/978-1-4614-5993-4_6 Cheng A Rodgers DL van der Jagt É Eppich W O'Donnell J Evolution of the Pediatric Advanced Life Support course: Enhanced learning with a new debriefing tool and Web-based module for Pediatric Advanced Life Support instructors 2012 Pediatr Crit Care Med 589-595 Cheng A, Rodgers DL, van der Jagt É, Eppich W, O'Donnell J. Evolution of the Pediatric Advanced Life Support course: Enhanced learning with a new debriefing tool and Web-based module for Pediatric Advanced Life Support instructors. Pediatr Crit Care Med. 2012;13(5):589-595. DOI: 10.1097/PCC.0b013e3182417709 https://doi.org/10.1097/PCC.0b013e3182417709 Marshall S The use of cognitive aids during emergencies in anesthesia: a review of the literature 2013 Anesth Analg 1162-1171 Marshall S. The use of cognitive aids during emergencies in anesthesia: a review of the literature. Anesth Analg. 2013;117(5):1162-1171. DOI: 10.1213/ANE.0b013e31829c397b https://doi.org/10.1213/ANE.0b013e31829c397b Hall C Robertson D Rolfe M Pascoe S Passey ME Pit SW Do cognitive aids reduce error rates in resuscitation team performance? Trial of emergency medicine protocols in simulation training (TEMPIST) in Australia 2020 Hum Resour Health 1 Hall C, Robertson D, Rolfe M, Pascoe S, Passey ME, Pit SW. Do cognitive aids reduce error rates in resuscitation team performance? Trial of emergency medicine protocols in simulation training (TEMPIST) in Australia. Hum Resour Health. 2020;18(1):1. DOI: 10.1186/s12960-019-0441-x https://doi.org/10.1186/s12960-019-0441-x Harrison TK Manser T Howard SK Gaba DM Use of Cognitive Aids in a Simulated Anesthetic Crisis 2006 Anesth Analg 551-556 Harrison TK, Manser T, Howard SK, Gaba DM. Use of Cognitive Aids in a Simulated Anesthetic Crisis. Anesth Analg. 2006;103(3):551-556. DOI: 10.1213/01.ane.0000229718.02478.c4 https://doi.org/10.1213/01.ane.0000229718.02478.c4 Reed SJ Written debriefing: Evaluating the impact of the addition of a written component when debriefing simulations 2015 Nurse Educ Pract 54354-8 Reed SJ. Written debriefing: Evaluating the impact of the addition of a written component when debriefing simulations. Nurse Educ Pract. 2015;15(6):54354-8. DOI: 10.1016/j.nepr.2015.07.011 https://doi.org/10.1016/j.nepr.2015.07.011 Cheng A Hunt EA Donoghue A Nelson-McMillan K Nishisaki A Leflore J Eppich W Moyer M Brett-Fleggler M Kleinman M Anderson J Adler M Braga M Kost S Stryjewski G Min S Podraza J Lopreiato J Flidor Hamilton M STone K Reid J Hopkins J Manos J Duff J Richard M Nadkarni VM EXPRESS Investigators Examining pediatric resuscitation education using simulation and scripted debriefing: a multicenter randomized trial 2013 JAMA Pediatr 528-536 Cheng A, Hunt EA, Donoghue A, Nelson-McMillan K, Nishisaki A, Leflore J, Eppich W, Moyer M, Brett-Fleggler M, Kleinman M, Anderson J, Adler M, Braga M, Kost S, Stryjewski G, Min S, Podraza J, Lopreiato J, Flidor Hamilton M, STone K, Reid J, Hopkins J, Manos J, Duff J, Richard M, Nadkarni VM; EXPRESS Investigators. Examining pediatric resuscitation education using simulation and scripted debriefing: a multicenter randomized trial. JAMA Pediatr. 2013;167(6):528-536. DOI: 10.1001/jamapediatrics.2013.1389 https://doi.org/10.1001/jamapediatrics.2013.1389 Freytag J Stroben F Hautz WE Eisenmann D Kammer JE Improving patient safety through better teamwork: how effective are different methods of simulation debriefing? Protocol for a pragmatic, prospective and randomised study 2017 BMJ Open e015977 Freytag J, Stroben F, Hautz WE, Eisenmann D, Kammer JE. Improving patient safety through better teamwork: how effective are different methods of simulation debriefing? Protocol for a pragmatic, prospective and randomised study. BMJ Open. 2017;7(6):e015977. DOI: 10.1136/bmjopen-2017-015977 https://doi.org/10.1136/bmjopen-2017-015977 Rall M Oberfrank S Human factors and crisis resource management: improving patient safety 2013 Unfallchirurg 892-899 Rall M, Oberfrank S. Human factors and crisis resource management: improving patient safety. Unfallchirurg. 2013;116(10):892-899. DOI: 10.1007/s00113-013-2447-5 https://doi.org/10.1007/s00113-013-2447-5 Gaba DM Fish K Howard S Burden A 2014 Crisis Management in Anesthesiology Gaba DM, Fish K, Howard S, Burden A. Crisis Management in Anesthesiology. Philadelphia, PA: Saunders; 2014. Fung L Boet S Bould MD Qosa H Perrier L Tricco A Tavares W Reeves S Impact of crisis resource management simulation-based training for interprofessional and interdisciplinary teams: A systematic review 2015 J Interprof Care 433-444 Fung L, Boet S, Bould MD, Qosa H, Perrier L, Tricco A, Tavares W, Reeves S. Impact of crisis resource management simulation-based training for interprofessional and interdisciplinary teams: A systematic review. J Interprof Care. 2015;29(5):433-444. DOI: 10.3109/13561820.2015.1017555 https://doi.org/10.3109/13561820.2015.1017555 Stroben F Schröder T Dannenberg KA Thomas A Exadaktylos A Hautz WE A simulated night shift in the emergency room increases students' self-efficacy independent of role taking over during simulation 2016 BMC Med Educ 177 Stroben F, Schröder T, Dannenberg KA, Thomas A, Exadaktylos A, Hautz WE. A simulated night shift in the emergency room increases students' self-efficacy independent of role taking over during simulation. BMC Med Educ. 2016;16:177. DOI: 10.1186/s12909-016-0699-9 https://doi.org/10.1186/s12909-016-0699-9 Cooper S Cant R Porter J Sellick K Somers G Kinsman L Nestel D Rating medical emergency teamwork performance: development of the Team Emergency Assessment Measure (TEAM) 2010 Resuscitation 446-452 Cooper S, Cant R, Porter J, Sellick K, Somers G, Kinsman L, Nestel D. Rating medical emergency teamwork performance: development of the Team Emergency Assessment Measure (TEAM). Resuscitation. 2010;81(4):446-452. DOI: 10.1016/j.resuscitation.2009.11.027 https://doi.org/10.1016/j.resuscitation.2009.11.027 Cooper S Cant R Connell C Sims L Porter J Symmons M Nestel D Liaw SY Measuring teamwork performance: validity testing of the Team Emergency Assessment Measure (TEAM) with clinical resuscitation teams 2016 Rescucitation 97-101 Cooper S, Cant R, Connell C, Sims L, Porter J, Symmons M, Nestel D, Liaw SY. Measuring teamwork performance: validity testing of the Team Emergency Assessment Measure (TEAM) with clinical resuscitation teams. Rescucitation. 2016;101:97-101. DOI: 10.1016/j.resuscitation.2016.01.026 https://doi.org/10.1016/j.resuscitation.2016.01.026 Cant RP Porter JE Cooper SJ Roberts K Wilson I Gartside C Improving the non-technical skills of hospital medical emergency teams: the Team Emergency Assessment Measure (TEAM) 2016 Emerg Med Australas 641-646 Cant RP, Porter JE, Cooper SJ, Roberts K, Wilson I, Gartside C. Improving the non-technical skills of hospital medical emergency teams: the Team Emergency Assessment Measure (TEAM). Emerg Med Australas. 2016;28(6):641-646. DOI: 10.1111/1742-6723.12643 https://doi.org/10.1111/1742-6723.12643 Maignan M Koch FX Chaix J Phellouzat P Binauld G Collomb Muret R Cooper SJ Labarère J Danel V Viglino D Debaty G Team Emergency Assessment Measure (TEAM) for the assessment of non-technical skills during resuscitation: validation of the French version 2016 Resuscitation 115-120 Maignan M, Koch FX, Chaix J, Phellouzat P, Binauld G, Collomb Muret R, Cooper SJ, Labarère J, Danel V, Viglino D, Debaty G. Team Emergency Assessment Measure (TEAM) for the assessment of non-technical skills during resuscitation: validation of the French version. Resuscitation. 2016;101:115-120. DOI: 10.1016/j.resuscitation.2015.11.024 https://doi.org/10.1016/j.resuscitation.2015.11.024 Freytag J Stroben F Hautz WE Schauber SK Kämmer JE Rating the quality of teamwork-a comparison of novice and expert ratings using the Team Emergency Assessment Measure (TEAM) in simulated emergencies 2019 Scand J Trauma Resusc Emerg Med 12 Freytag J, Stroben F, Hautz WE, Schauber SK, Kämmer JE. Rating the quality of teamwork-a comparison of novice and expert ratings using the Team Emergency Assessment Measure (TEAM) in simulated emergencies. Scand J Trauma Resusc Emerg Med. 2019;27(1):12. DOI: 10.1186/s13049-019-0591-9 https://doi.org/10.1186/s13049-019-0591-9 Rall M Gaba DM Human Performance and Patient Safety 2005 Miller's Anesthesia 3021-3072 Rall M, Gaba DM. Human Performance and Patient Safety. In: Miller R, editor. Miller's Anesthesia. 6th ed. Philadelphia: Elsevier Churchill Livingstone; 2005. p.3021-3072. Cheng A Eppich W Kolbe M Meguerdichian M Bajaj K Grant V A Conceptual Framework for the Development of Debriefing Skills: A Journey of Discovery, Growth, and Maturity 2020 Simul Healthc 55-60 Cheng A, Eppich W, Kolbe M, Meguerdichian M, Bajaj K, Grant V. A Conceptual Framework for the Development of Debriefing Skills: A Journey of Discovery, Growth, and Maturity. Simul Healthc. 2020;15(1):55-60. DOI: 10.1097/SIH.0000000000000398 https://doi.org/10.1097/SIH.0000000000000398 Fraser KL Meguerdichian MJ Haws JT Grant VJ Bajaj K Cheng A Cognitive Load Theory for debriefing simulations: implications for faculty development 2018 Adv Simul 28 Fraser KL, Meguerdichian MJ, Haws JT, Grant VJ, Bajaj K, Cheng A. Cognitive Load Theory for debriefing simulations: implications for faculty development. Adv Simul. 2018;3:28. DOI: 10.1186/s41077-018-0086-1 https://doi.org/10.1186/s41077-018-0086-1 Gougoulis A Trawber R Hird K Sweetman G 'Take 10 to talk about it': Use of a scripted, post-event debriefing tool in a neonatal intensive care unit 2020 J Paediatr Child Health 1134-1139 Gougoulis A, Trawber R, Hird K, Sweetman G. 'Take 10 to talk about it': Use of a scripted, post-event debriefing tool in a neonatal intensive care unit. J Paediatr Child Health. 2020;56(7):1134-1139. DOI: 10.1111/jpc.14856 https://doi.org/10.1111/jpc.14856 Eisenmann D Stroben F Gerken J Exadaktylos A Machner M Hautz WE Interprofessional Emergency Training Leads to Changes in the Workplace 2018 West J Emerg Med 185-192 Eisenmann D, Stroben F, Gerken J, Exadaktylos A, Machner M, Hautz WE. Interprofessional Emergency Training Leads to Changes in the Workplace. West J Emerg Med. 2018;19(1):185-192. DOI: 10.5811/westjem.2017.11.35275 https://doi.org/10.5811/westjem.2017.11.35275 Freytag J Stroben F Hautz WE Penders D Kämmer JE Effect of using a cognitive aid on content and feasibility of debriefings of simulated emergencies 2021 Dryad Digital Repository Freytag J, Stroben F, Hautz WE, Penders D, Kämmer JE. Data from: Effect of using a cognitive aid on content and feasibility of debriefings of simulated emergencies. Dryad Digital Repository. 2021. DOI: 10.5061/dryad.02v6wwq2t https://doi.org/10.5061/dryad.02v6wwq2t 11en1de

Table 1: Baseline analysis

Tabelle 1: Baseline Analyse

1

1 1en 1de Figure 1: Study design (R = randomization. This figure was published as part of the referenced study protocol [28], and is used under CC BY-NC 4.0; it has been adapted for use in this publication.) Abbildung 1: Ablauf der Studie (R = Randomisierung. Diese Abbildung wurde als Teil des benannten Studienprotokolls publiziert [28], und wird verwendet unter CC BY-NC 4.0; sie wurde angepasst für die Verwendung in dieser Publikation.)

2 2en 2de Figure 2: CRM principles discussed by intervention and control groups, considering the TeamTAG focus (IG = intervention group, CG = control group. The numbering of the CRM principles is based on the list of 15 CRM principles according to Rall and Gaba [29], [43].) Abbildung 2: Auswertung der besprochenen CRM-Prinzipien nach Gruppe unter Berücksichtigung des TeamTAG-Fokus (IG = Interventionsgruppe, KG = Kontrollgruppe. Die Nummerierung der CRM-Prinzipien beruht auf der Liste der 15 CRM Prinzipien nach Rall und Gaba [29], [43].)

3 3en 3de Figure 3: Heatmap showing the repetition pattern of feedback topics in each group (IG = intervention group, CG = control group) Abbildung 3: Heatmap mit Wiederholungsmuster von Feedbackthemen innerhalb der Gruppen im zeitlichen Verlauf (IG = Interventionsgruppe, KG = Kontrollgruppe)

3 0 1 1en 1de TeamTAG Leitfaden Teamarbeit - TeamTAG 2 2en 2de Tables Tabellen 2