The Teamwork Assessment Scale: A Novel Instrument to Assess Quality of Undergraduate Medical Students' Teamwork Using the Example of Simulation-based Ward-Rounds

zma000961 10.3205/zma000961 urn:nbn:de:0183-zma0009616 article Artikel The Teamwork Assessment Scale: A Novel Instrument to Assess Quality of Undergraduate Medical Students' Teamwork Using the Example of Simulation-based Ward-Rounds Die Teamarbeitsskala: Ein neues Instrument zur Einschätzung der Qualität der Teamarbeit von Medizinstudierenden am Beispiel simulationsbasierter Visitentrainings Kiesewetter Kiesewetter Jan J Dr. phil.

Klinikum der LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, Ziemssenstraße 1, D-80336 München, Germany, Phone: Tel: +49 (0)89/5160-7204, Fax:+49 (0)89/5160-7202Klinikum der LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, GermanyLudwig-Maximilians-Universtiy Munich, Munich Center of the Learning Sciences (MCLS), Munich, Germany

Klinikum der LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, Ziemssenstraße 1, D-80336 München, Deutschland, Tel-: Tel: +49 (0)89/5160-7204, Fax:+49 (0)89/5160-7202Klinikum der LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, GermanyLudwig-Maximilians-Universtiy Munich, Munich Center of the Learning Sciences (MCLS), Munich, Germany

jan.kiesewetter@med.lmu.de author Fischer Fischer Martin R. MR Prof. Dr. med. MME

Klinikum der LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Germany

martin.fischer@med.uni-muenchen.de author German Medical Science GMS Publishing House

Düsseldorf

610 simulation-based training team training team performance measurement medical education teaching and learning Simulationsbasiertes Training Team Training Team Performanz Messung Medizinische Ausbildung Lehren und Lernen teamwork Teamwork 20140627 20150220 20150313 20150513 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 1860-3572 32 2 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 19 Hintergrund: Simulationsbasierte Teamarbeitstrainings werden als eine wirkungsvolle Methode betrachtet um Teamarbeit, zu verbessern. Teamarbeit wird in der medizinischen Ausbildung immer relevanter. Auch die Messung von Teamarbeit ist daher sehr wichtig und verschiedene Instrumente wurden für verschiedene medizinische Fachdisziplinen entwickelt, um diesen Zweck zu erfüllen. Unseres Wissens nach ist bisher kein theoriebasiertes und einfach anzuwendendes Messinstrument spezifisch für simulationsbasierte Teamarbeitstrainings von Medizinstudierenden publiziert oder entwickelt worden. Internistische Visiten fungieren als ein wichtiges Beispiel von Teamarbeit in der Medizin.Ziel: Das Ziel der Studie war ein validiertes, theoriebasiertes Instrument zu entwickeln, welches einfach anzuwenden ist. Weiterhin sollte in der Studie untersucht werden, ob und wann die Bewertungen von Ratern mit klinischer Performanz in Zusammenhang stehen.Methoden: Basierend auf einem theoretischen Rahmenmodell für Teamarbeitsverhalten wurden Items zu vier Teamarbeitskomponenten entwickelt (Teamkoordination, Teamkooperation, Informationsaustausch, Verhaltensweisen zur Teamanpassung). In Studie eins wurden drei Visitenszenarien, simuliert von 69 Studierenden, gefilmt und unabhängig von vier trainierten Ratern bewertet. Das Instrument wurde auf seine psychometrischen Eigenschaften und die faktorielle Struktur hin untersucht. In Studie zwei wurde die Konstruktvalidität des Instruments anhand eines externen Kriteriums mit einem zweiten Set von 100 Studierenden und vier Ratern überprüft.Ergebnisse: In Studie eins passte die faktorielle Struktur zu den theoretischen Komponenten, jedoch konnte Informationsaustausch und Teamkooperation nicht separiert werden. Die vorläufige Version zeigte ausreichende psychometrische Eigenschaften (Cronbach’s α=,75). In Studie zwei waren die ärztlichen Bewertungen reliabler als die studentischen Bewertungen. Weiterhin konnte eine enger Zusammenhang zwischen der Skala und klinischer Performanz als einem externen Kriterium (r=,64) gezeigt werden und die ausreichend hohen psychometrischen Eigenschaften konnten repliziert werden (Cronbach’s α=,78).Schlussfolgerungen: Die Validierung gestattet den Einsatz der Teamarbeitsskala in Visitentrainings von Studierenden, um Teamarbeit reliabel von Ärztinnen und Ärzten einschätzen zu lassen. Weitere Studien sind notwendig, um die Anwendbarkeit des Instruments zu verifizieren. Background: Simulation-based teamwork trainings are considered a powerful training method to advance teamwork, which becomes more relevant in medical education. The measurement of teamwork is of high importance and several instruments have been developed for various medical domains to meet this need. To our knowledge, no theoretically-based and easy-to-use measurement instrument has been published nor developed specifically for simulation-based teamwork trainings of medical students. Internist ward-rounds function as an important example of teamwork in medicine.Purposes: The purpose of this study was to provide a validated, theoretically-based instrument that is easy-to-use. Furthermore, this study aimed to identify if and when rater scores relate to performance.Methods: Based on a theoretical framework for teamwork behaviour, items regarding four teamwork components (Team Coordination, Team Cooperation, Information Exchange, Team Adjustment Behaviours) were developed. In study one, three ward-round scenarios, simulated by 69 students, were videotaped and rated independently by four trained raters. The instrument was tested for the embedded psychometric properties and factorial structure. In study two, the instrument was tested for construct validity with an external criterion with a second set of 100 students and four raters. Results: In study one, the factorial structure matched the theoretical components but was unable to separate Information Exchange and Team Cooperation. The preliminary version showed adequate psychometric properties (Cronbach’s α=.75). In study two, the instrument showed physician rater scores were more reliable in measurement than those of student raters. Furthermore, a close correlation between the scale and clinical performance as an external criteria was shown (r=.64) and the sufficient psychometric properties were replicated (Cronbach’s α=.78).Conclusions: The validation allows for use of the simulated teamwork assessment scale in undergraduate medical ward-round trainings to reliably measure teamwork by physicians. Further studies are needed to verify the applicability of the instrument. IntroductionInsufficient communication and teamwork are among the major causes for sentinel events in healthcare , . Furthermore, errors in teamwork have an enormous influence on patient safety , , , . As a consequence of the aftermath of healthcare errors , the advancement of patient safety through improvement of teamwork is desirable and under intense discussion. To this end, simulation-based training is considered a powerful training method for team performance , . In this article, we will introduce the Teamwork Assessment Scale (TAS), a teamwork measurement instrument built on a concise theoretical framework to reliably measure undergraduate training. In the following paragraphs, we introduce the teamwork model on which we built our scale and discuss existing teamwork measurement instruments. We conclude the introduction by formulating how the theoretical model can help to develop a measurement instrument that goes beyond the applicability of the existing measurement instruments. In the existing literature, several teamwork models have been established to capture teamwork behaviour. Rousseau, Aubé, and Savoie developed a teamwork framework, which is derived from an analysis of twenty-nine teamwork models and arranged the included teamwork behaviours hierarchically. The integrated framework for teamwork behaviour is considered to be a comprehensive starting point for the development of a teamwork measurement instrument. Within the framework itself, teamwork behaviours are subdivided into the categoriesRegulation of team performance and Management of team maintenance (i.e. interpersonal difficulties among team members). Within the Regulation of team performance category, the main behavioral determinants for a team’s success include Preparation of Work Accomplishment, Work Assessment Behaviours, Team Adjustment Behaviours, and Task-related Collaborative Behaviours as the main behavioural determinants for a team’s success. Theoretically, we aim to build our measurement scale on this model so that the instrument is a strong predictor for a team’s performance. We will now discuss the current measurement instruments for teamwork. As has been recently described , critics of existing outcome measurement instruments in simulation-based training state that the behavioural spectrum of measurement is too narrow to fully capture today’s complex medical practice. An open empirical question is the relationship between measured teamwork and the quality of healthcare provided in a simulation-based environment (i.e. clinical performance). Subsequently, measurement development is a “high-priority issue” in simulation-based medical education for two reasons: to provide accurate feedback to learners and to advance medical teamwork research with valid research results .At present, however, the instruments presumably differ largely to the extent that they require prior knowledge from the rater. Furthermore, at times, the existing instruments lack careful theoretical foundation and construct validation. Construct validation indicates whether a scale measures and correlates with the theorized construct. The instruments for assessing the quality of teamwork are often developed for a specific medical subdiscipline (e.g. surgery , anesthesia , or emergency medicine , , , , ). Within these subdisciplines, the instruments work well. However, the instruments are not intended for use across medical disciplines and not designed to support learning of undergraduate students in a simulated team environment. Ward-rounds in diverse subdisciplines, however, are a context of everyday medical care in which medical professionals (i.e. doctors and nurses) have to work together efficiently as a team. For clinical care, there does exist an overall measurement checklist for ward rounds . However, this checklist was especially designed for postgraduate training and no instrument is available for the undergraduate level. As ward-rounding is a complex key example of a 1st day teamwork competency in clinical medicine, it seems important to already teach this skill to undergraduate students and to verify the quality of these trainings, which are often delivered in simulation-based environments. In the following paragraph, we will present how the integrated framework of teamwork behaviours by Rousseau et al. can help to construct a teamwork scale that goes beyond one medical discipline and can be used for undergraduate training as well. As an example, we use the clinically relevant subject of ward-rounds in undergraduate medical education.The component Regulation of Team Performance is an important aspect before and during most ward-rounds. Before the ward-round begins, the Work Assessment Behaviours could include the preparation of patient charts by the nurse. Team Adjustment Behaviours may be crucial if - unexpectedly - the patient shows new symptoms during a ward-round. Task-related collaborative behaviours between the team members would then facilitate the sharing of the patient-relevant information. Indeed, ward-rounds are complex tasks but the roles, objectives, and activities of each member and the typical sequence of activities are predefined. Together, these roles, objectives, and activities can be identified as a collaboration script (cf. ) and fulfilment of such a ward-round script can be used as an external index for the clinical performance of the team. For the purposes of the measurement instrument, this index can help to verify the validity of the scale - the Teamwork Assessment Scale (TAS) - within ward-rounds.The goal of this study was to develop an instrument based on a theoretical foundation that can be used in healthcare to: measure teamwork components reliably in simulation-based scenarios designed for undergraduate students’ learning, compare different team performances, and evaluate the effect of teamwork trainings. To achieve these goals, two studies were conducted to validate TAS: The first study aimed to evaluate psychometric properties of the items, and the second study aimed to determine the construct validity (using clinical performance as an external validation criterion) and evaluate which prerequisites reflect actual teamwork. EinleitungUnzureichende Kommunikation und schlechte Teamarbeit gehören zu den häufigsten Ursachen für gefährliche Ereignisse im Gesundheitswesen , . So haben Fehler in der Teamarbeit einen enormen Einfluss auf die Patientensicherheit , , , . Als eine Konsequenz zu den Befunden zu Fehlern im Gesundheitswesen ist die Verbesserung der Patientensicherheit durch die Verbesserung der Teamarbeit wünschenswert und wird wissenschaftlich viel diskutiert. Speziell simulationsbasierte Trainings wird als wirkungsvolle Methode betrachtet, um die Performanz der Teamarbeit zu verbessern , . In diesem Artikel führen wir die Teamarbeitsskala (TAS) ein. Die TAS ist ein Teamarbeitsmessinstrument, welches auf einem theoretischen Modell beruht, um reliabel Studierendentrainings zu messen. In den folgenden Abschnitten möchten wir das Teamarbeitsmodell vorstellen, auf dem die Skala theoretisch fundiert ist, und die bereits entwickelten Teamarbeitsmessinstrumente diskutieren. Letztlich wird vorgestellt, wie das theoretische Modell dabei helfen kann, ein Messinstrument zu entwickeln, welches über die Anwendungsgebiete der bereits entwickelten Messinstrumente hinaus geht. In der Literatur sind einige Teamarbeitsmodelle publiziert, welche Teamarbeitsverhalten analysiert und organisiert darstellen . Rousseau, Aubé und Savoie haben ein Rahmenmodell der Teamarbeit entwickelt welches aus einer Analyse von neunundzwanzig Teamarbeitsmodellen hervorging. Die darin enthaltenen Teamarbeitsverhaltensweisen wurden hierarchisch angeordnet. Das integrierte Rahmenmodell für Teamarbeitsverhalten ist ein umfassender Ausgangspunkt für die Entwicklung eines Messinstruments für Teamarbeit. Innerhalb des Rahmenmodells wird Teamarbeit in die folgenden Kategorien aufgeteilt Regulation der Teamperformanz (i.O. Regulation of team performance) und Management der Aufrechterhaltung des Teams (i.O. Management of team maintenance), bspw. zwischenmenschliche Schwierigkeiten zwischen Teammitgliedern. Innerhalb der Regulation der Teamperformanz gelten Vorbereitung der Arbeitsdurchführung, Verhaltensweisen zur Arbeitsüberprüfung, Verhaltensweisen zur Teamanpassung undAufgabenbezogene kooperative Verhaltensweisen als die Hauptdeterminanten für den Erfolg eines Teams. Theoretisch haben wir darauf abgezielt unsere Skala auf diesem Modell aufzubauen, damit unser Instrument ein starker Prädiktor für die Performanz eines Teams ist. Wir werden nun die bereits publizierten Messinstrumente diskutieren. Wie kürzlich bereits beschrieben , werden ergebnisorientierte Messinstrumente für simulationsbasiertes Trainings dafür kritisiert, dass das Verhaltensspektrum der Messungen zu eng gesteckt ist, um die heutige Komplexität der medizinischen Versorgung vollständig darzustellen. Eine noch offene empirische Frage ist bisher der Zusammenhang zwischen gemessener Teamarbeit und der Versorgungsqualität in einer simulationsbasierten Umgebung (klinische Performanz). Folglich wird die Entwicklung von Messinstrumenten aufgrund von zwei Argumenten als sehr wichtig in simulationsbasierter medizinischer Ausbildung eingestuft: um genaues Feedback an Lernende rückzumelden und um medizinische Teamarbeitsforschung mit validen Messungen weiterzuentwickeln .Zur Zeit unterscheiden sich die Instrumente deutlich in Bezug auf das Vorwissen des Raters. Zudem lassen einige der Instrumente eine genaue theoretische Fundierung und Konstruktvalidierung vermissen. Konstruktvalidierung meint hier, ob die Messungen einer Skala mit verwandten Konstrukten korreliert. Die Instrumente, die Qualität der Teamarbeit messen, sind häufig für eine spezifische medizinische Subdisziplin (z.B. Chirurgie , Anästhesie oder Notfallmedizin , , , , ) entwickelt worden. Innerhalb dieser Subdisziplinen funktionieren diese Instrumente gut. Jedoch werden die Instrumente nicht dafür entwickelt, über verschiedene Subdisziplinen hinweg Teams von Medizinstudierenden in einer simulationsbasierten Lernumgebung zu unterstützen. Visiten in verschiedenen Subdisziplinen sind ein Kontext im medizinischen Alltag, in dem interprofessionell (ärztliches und pflegerisches Personal) als ein Team effektiv zusammenarbeiten müssen. Für die klinische Versorgung existiert eine übergeordnete Checkliste für Visiten . Jedoch wurde diese Checkliste speziell für die Weiterbildung von Assistenzärzten entwickelt und bisher existiert kein Instrument für Medizinstudierende. Da Visiten ein Beispiel für Teamarbeit ist, welche bereits am ersten Tag des Berufslebens vorhanden sein sollte, erscheint es wichtig, diese Fähigkeit bereits Medizinstudierenden beizubringen. Weiterhin sollte die Qualität solcher Trainings, welche häufig in simulationsbasierten Umgebungen durchgeführt werden, sichergestellt sein.Im folgenden Absatz werden wir nun vorstellen, wie das integrierte Rahmenmodell der Teamarbeit von Rousseau et al. dafür genutzt werden kann, eine Teamarbeitsskala zu entwickeln, welche über eine medizinische Subdisziplin hinaus geht und auch im Kontext Medizinstudierender eingesetzt werden kann. Visiten dienen hierbei als ein klinisch relevantes Beispiel für die medizinische Ausbildung. Die Komponente Regulation der Teamperformanz ist ein wichtiger Aspekt vor und während der meisten Visiten. Bevor die Visite beginnt gehören zu der Vorbereitung der Arbeitsdurchführung die Bereitstellung der Patientenkurven von dem Pfleger/der Pflegerin. Verhaltensweisen zur Teamanpassung könnten wichtig sein, wenn – unvorhergesehen – der Patient während der Visite über neue Symptome berichtet. Aufgabenbezogene kooperative Verhaltensweisen zwischen den Teammitgliedern könnten dann beispielsweise das verstärkte Mitteilen neuer relevanter patientenbezogener Information an Teammitglieder sein. Tatsächlich sind Visiten komplexe Aufgaben , jedoch sind die Rollen, Ziele und Aktivitäten jedes Teammitgliedes sowie die Typische Sequenz der Aktivitäten vordefiniert. Zusammen können die Rollen, Ziele und Aktivitäten als ein Kooperationsskript bezeichnet werden (cf. ). Die Erfüllung des Visitenskripts kann als ein externer Index für die klinische Performanz eines Teams gelten. Für die Entwicklung eines Messinstruments kann dieser Index helfen die Validität der Skala – der Teamarbeitsskala (TAS) – innerhalb von Visiten zu überprüfen.Das Ziel dieser Studie war es, basierend auf einer theoretischen Grundlage, ein Instrument zu entwickeln, welches im Gesundheitswesen eingesetzt wird um: (1) Teamarbeitskomponenten reliabel in simulationsbasierten Szenarien, welche für den Unterricht Medizinstudierender entwickelt wurden, zu messen (2) die Performanz verschiedener Teams zu vergleichen und (3) die Effektivität von Teamarbeitstrainings zu evaluieren. Um diese Ziele zu erreichen wurden zwei Studien durchgeführt um die TAS zu validieren: Die erste Studie untersuchte die psychometrischen Eigenschaften der Items und die zweite Studie sollte die Konstruktvalidität überprüfen. Hierbei wurde klinische Performanz als ein externes Validierungskriterium herangezogen um festzustellen, welche Verhaltensweisen tatsächlich mit Teamarbeit zusammenhängen. MethodsDevelopment of the initial item setBased on the hierarchical model, a simulated teamwork measurement instrument was developed: TAS. Different behaviour-based scales to observe teams in healthcare were reviewed , , , , . The instruments were chosen as a sound starting point for the behaviours regarding Task-related collaborative behaviours (Coordination, Collaboration and Information exchange) and Team Adjustment Behaviours. Team Coordination relates to the integration of the members‘ roles and activities (cf. ), and is central to ward-rounds since the team’s members are assigned relatively spontaneously. Team Coordination relates to the integration of the members’ roles and activities (cf. ). Thus, the Team Cooperation demonstrated in simulated scenarios can aid in developing behaviors required for the completion of interdependent jobs in actual ward-round scenarios (cf. ). For instance, Information Exchange, which we define as the assigning and directing of tasks (cf. ), is important as teams in (actual and) simulated scenarios often begin with an imbalance of information that has to be resolved during the scenario. Team Adjustment Behaviours are defined as the teams’ activities to face unforeseeable performance demands (cf. ). The theoretical foundation and definition for the development of the measurement instrument is summarized in Table 1 .Initially, six to seven items per subscale (26 items overall) were developed in German and formulated to adapt to the simulation-based learning context of students . A five point Likert scale was applied*. Item RevisionAll items were reviewed thrice by members of an interdisciplinary research team that consisted of medical professionals (n=3), educators (n=2), and psychologists (n=2). Afterwards, the items were included into the revised version. These professions were chosen to guarantee authenticity (medical professionals), applicability in training contexts (educators), and psychometric interpretability (psychologists). Each review included a portion for the research team to provide feedback independently on the current version items; the comments for which were summarized by one of the authors (J.K.) and subsequently discussed in a group discussion regarding their overall applicability.The first version of the scale was piloted in the simulation clinic of the university hospital with three real-time, healthcare teamwork scenarios, which consisted of four doctors and one nurse. Five expert observer (whom were not included in the initial development) rated the healthcare teamwork scenarios. A discussion followed determining whether the individual items were: representative, in that no obvious part of teamwork behaviours important for learning in simulated settings was completely left out, observable, in that one with knowledge of teamwork could distinguish between teams who showed the behaviour and teams who did not, and comprehensible, in that one with knowledge of teamwork literature could understand what the items mean and distinguish between the scales included in the instrument. The group discussed the rating scale until every member of the research team agreed that the, partly reformulated, 17 items were representative, observable, and comprehensible.Ethical ApprovalBoth studies reported here were approved by the faculties’ ethical committee (EK7 110-11). MethodenEntwicklung der initialen ItemsBasierend auf dem hierarchischen Model, würde ein Instrument zur simulierten Teamarbeitsmessung entwickelt: TAS. Verschiedene verhaltens-verankerte Skalen um Teams im Gesundheitswesen zu beobachten wurden zunächst gesichtet , , , , . Die Instrumente wurden als ein Startpunkt für die Aufgabenbezogenen kooperativen Verhaltensweisen (Koordination, Kooperation und Informationsaustausch) und Verhaltensweisen zur Teamanpassung ausgewählt. Team Koordination bezieht sich auf die Integration der Rollen und Aktivitäten der Teammitglieder (cf. ), und kann als bedeutsames Verhalten in Visiten gelten, da Teammitglieder relativ spontan eingeteilt werden. Team Kooperation bezieht sich auf die bewusste Anstrengungsbereitschaft zur Erledigung gemeinsamer Aufgaben. Daher kann die Kooperation eines Teams in simulierten Szenarios dabei helfen, Verhaltensweisen zu entwickeln, die zur Erledigung gemeinsamer Aufgaben tatsächlicher Visiten benötigt werden (cf. ). Beispielsweise kann Informationsaustausch, welchen wir als das Übertragen und Anweisen von Aufgaben definieren (cf, ), wichtig sein, da Teams in (tatsächlichen und) simulierten Szenarien häufig mit einer Ungleichverteilung von Informationen beginnen, welches während der Szenarien zu lösen ist. Verhaltensweisen zur Teamanpassung sind definiert als die Aktivitäten eines Teams, die nötig sind, um unerwarteten Anforderungen gerecht zu werden (cf. ). Die theoretische Fundierung und Definitionen für die Entwicklung des Messinstruments ist in Tabelle 1 zusammengefasst.Initial wurden sechs bis sieben Items pro Subskala (26 Items insgesamt) entwickelt. Alle Items wurden in deutscher Sprache formuliert und adaptiert, um dem simulationsbasierten Lernkontext Studierender gerecht zu werden*. Eine Fünfstufige Likert Skala wurde verwendet.Item RevisionAlle Items wurde dreifach von Mitgliedern eines interdisziplinären Forschungsteams gereviewed, welches aus Medizinern (n=3), Pädagogen (n=2) und Psychologen (n=2) bestand. Die bisher bestehenden Items wurden in die Revisionsversion eingeschlossen. Die beteiligten Mitglieder wurden ausgewählt, da so Authenthizität (Mediziner), Anwendbarkeit in Trainingskontexten (Pädagogen) und psychometrische Interpretierbarkeit (Psychologen) sichergestellt werden sollte. Jedes Review beinhaltete zunächst unabhäniges Feedback von Mitgliederndes Forschungsteams bzgl. der aktuellen Version der Items zu geben; die Kommentare wurden anschließend von einem der Autoren (J.K.) zusammengefasst und anschließend in einer Gruppendiskussion im Hinblick auf ihre generelle Anwendbarkeit hin diskutiert.Die erste Version der Skala wurde in der Lehr- und Simulationsklinik der LMU München pilotiert. In einem Echtzeitversuch wurden drei Teamarbeitsszenarios von je vier Ärzten und einer Pflegekraft dargestellt. Fünf geübte Beobachter (welche nicht bei der initialen Entwicklung beteiligt waren) bewerteten die Szenarien. Anschließend wurde eine Diskussion geführt um festzustellen, ob jedes einzelne Item die folgenden Bedingungen erfüllt: repräsentativ, insofern als dass kein offensichtliches Teamarbeitsverhalten, welches wichtig für das Lernen in simulationsbasierten Settings ist, außen vor gelassen wurde, beobachtbar, insofern als jemand, der Wissen über Teamarbeit besitzt, zwischen Teams unterscheiden kann, welche das Verhalten zeigen und solchen die es nicht zeigen, verständlich, insofern als dass jemand mit Wissen über die Teamarbeitsliteratur verstehen kann, was die Items bedeuten und zwischen den eingeschlossenen Subskalen unterscheiden kann. Die Forschungsgruppe diskutierte die Skala bis jedes Mitglied zustimmte, dass die teilweise umformulierten Items repräsentativ, beobachtbar und verständlich waren.Ethische UnbedenklichkeitBeide hier dargestellten Studien wurden von der zuständigen Ethikkommission als unbedenklich eingestuft (EK7 110-11). Evaluation Study 1: Scale PropertiesThe objective of Study 1 was to evaluate the instrument’s psychometric properties and verify the factorial structure regarding the authors’ conceptualization of teamwork according to the model by Rousséau et al. . Participants in the studyTwenty-one teams of three to four students (69 students in total: mean age=22.6; f=64%, m=36%) participated in this study in exchange for course credit. The students had an overall mean of 8.2 practical weeks in wards but had not yet worked together in a clinical setting. The overall sample was split into groups of twelve (i.e. three teams) with whom three teamwork scenarios were simulated. The non-simulating participants observed through a semi-permeable mirror while another team participated in the simulated teamwork scenario.Simulated teamwork scenariosThe three scenarios were ward-rounds that differed in their complexity with regard to the quantity of information that had to be handled before and within the simulation. In scenario one, the patient is about to be discharged when the ECG on the ward round unexpectedly showed T-wave negativations. The team has to identify the ECG for this abnormality and discuss the new finding and its consequences with the patient. In scenario two, the patient was supposed to be fasting but had breakfast and, consequently, an ultrasound of the gastrointestinal tract scheduled for that morning has to be cancelled. This new information, potentially leading to conflict has to be identified and a solution needs to be found. In scenario three, a non-compliant patient refuses to take his medication. The team has to deal with the daily patient information and give the patient further diabetes education.All simulated teamwork scenarios were conducted in real-time in the simulation clinic of the university hospital, where each scenario took between five and seven minutes to be carried-out. Each scenario contained three different roles: nurse, resident, and chief of medicine. The other roles (nurses and residents) were carried-out by medical students, and the role of the chief of medicine was always carried-out by a prepared and trained doctor in order to assure a high-level of standardization and conceptual proximity to actual teamwork.ProcedureIn an introductory session, all participants received information regarding the course and their roles, and were instructed not to talk about their roles during the days in-between. One week later, the teams carried-out their simulation and received a debriefing after their scenario. The order of the scenarios was balanced and all simulated scenarios were videotaped.Data sources and instrumentsAfter all simulations were finished, the videos were rated independently by four trained observer using the revised version of the TAS (17 items). The order in which the videos were presented was randomised to minimize any likelihood of order effects. All items were applied to a 5-point Likert scale (1=Completely Disagree, 5=Completely Agree). The ratings of three items were reversed (e.g. “In situations where team members needed help, it was not given to them.”) as low ratings indicated good teamwork behaviour.Statistical AnalysisThe rating of all items were z-standardized. The scale’s internal consistency was evaluated using Cronbach’s a. An explanatory factor analysis (Rotated Maximum Likelihood with Kaiser Normalisation) was used to test for dimensionality. Evaluationsstudie 1: SkaleneigenschaftenDas Ziel von Studie 1 war es die psychometrischen Eigenschaften des Instruments zu evaluieren und die Faktorenstruktur zu verifizieren. Die von den Autoren intendierte Konzeptualisierung von Teamarbeit bzgl. des Modells von by Rousséau et al. sollte ebenfalls überprüft werden.Teilnehmer in der Studie Einundzwanzig Teams von drei bis vier Studierenden (69 Studierende: Altersdurchschnitt=22,6; w=64%, m=36%) nahmen gegen Teilnahmebestätigungen an der Studie teil. Die Studierenden hatten insgesamt durchschnittlich 8,2 Wochen auf Stationen geholfen, hatten jedoch noch nicht gemeinsam in einem klinischen Setting gearbeitet. Die Gruppe wurde in Untergruppen von zwölf aufgeteilt (3 Teams) in denen die Teamarbeitsszenarien simuliert wurden. Die nicht-simulierenden Teilnehmer beobachteten die anderen Teams durch eine semipermeable Glasscheibe, während ein Team ein Teamarbeitsszenario darstellte.Simulierte TeamarbeitsszenarienDie drei Szenarien waren Visitenszenarien, welche sich in ihrer Komplexität insofern unterschieden, als dass unterschiedlich viele Informationen vor und während der Visite verarbeitet werden mussten. In Szenario eins soll der Patient entlassen werden, wobei ein EKG unerwarteterweise T-Wellen Negativierungen zeigt. Das Team muss diese Unregelmäßigkeit im EKG befunden, die neue Information und die Konsequenzen mit dem Patienten diskutieren. In Szenario zwei sollte der Patient nüchtern sein, hat jedoch gefrühstückt und konsequenterweise kann ein Ultraschall des Gastrointestinaltraktes, welches am Morgen durchgeführt werden sollte, nicht angefertigt werden. Diese neue, potentiell konfliktträchtige Information muss identifiziert werden und eine Lösung gefunden werden. In Szenario drei ist ein Patient Noncompliant und weigert sich seine Medikation wie angeordnet zu nehmen. Das Team muss mit den Patienteninformationen umgehen und dem Patienten weitere Diabetesedukation zukommen lassen.Alle simulierten Teamarbeitsszenarien wurden in Echtzeit in der Lehr- und Simulationsklinik der LMU München durchgeführt, wobei jedes Szenario zwischen fünf und sieben Minuten brauchte, um durchgeführt zu werden. Jedes Szenario bestand aus drei verschiedenen Rollen: Pflegekraft, (2 mal) Assistenzarzt und Oberarzt. Die beiden Rollen (Pflegekraft und Assistenzärzte) wurden von den Medizinstudierenden ausgeführt, die Rolle des Oberarztes wurde jedoch einem trainierten und vorbereiteten Arzt ausgeführt, um ein hohes Maß an Standardisierung und konzeptueller Nähe zu tatsächlicher Teamarbeit zu gewährleisten. DurchführungIn einem einführenden Plenum erhielten alle Teilnehmer Informationen hinsichtlich des Kurses und ihrer Rollen, und wurden angewiesen, an den Tagen bis zur Simulation nicht über ihre Rollen zu sprechen. Eine Woche später führten die Teams die Simulationen durch und erhielten ein Debriefing nach dem Szenario. Die Reihenfolge der Szenarien wurden ausbalanciert und alle Szenarien wurden gefilmt.Datenquellen und Instrumente Nachdem alle Simulationen fertiggestellt waren, wurden die Videos unabhängig voneinander von vier trainierten Beobachtern anhand der Revisionsversion der TAS (17 Items) gerated. Die Reihenfolge, in der die Videos dargestellt wurden, war randomisiert, um möglichen Reihenfolgeeffekten vorzubeugen. Zu allen Items wurde eine fünf Punkt Likert Skala verwendet (1=trifft überhaupt nicht zu, 5=trifft voll und ganz zu). Die Ratings von drei Items wurden umgekehrt kodiert (z.B. “In einzelnen Situationen wo ein Teammitglied Hilfe brauchte hat es diese nicht erhalten”), da niedrige Werte gutes Teamarbeitsverhalten bedeuteten.Statistische AnalyseDas Rating aller Items wurde z-standardisiert. Die Interne Konsistenz wurde anhand von Cronbachs α evaluiert. Eine exploratorische Faktorenanalyse (Rotierte Maximum Likelihood mit Kaiser Normalisierung) wurde verwendet, um die Dimensionalität zu testen. Results of Study 1The overall mean for study one is M=3.73 with a standard deviation of SD=.70 before the factors were extracted (see Table 2 ). The explanatory factor analysis showed four major factors for examination (Eigen-value>1). To refine the items, the following strategy was applied: First, only those items that loaded at least .40 on one of the primary factors were further included; second, items that cross-loaded at ≥.50 were eliminated (see Table 3 ). Finally, redundant items (Cronbach’s α over .96) were eliminated. This strategy resulted in 14 items and revealed three factors expected from the theoretical foundation of the instrument: Team Adjustment Behaviours (TAB) as both intended and defined in Rousseau ; Team Coordination (TC) per the coordination and variation of the roles in the simulated scenario; and Cooperation and Information Exchange (CIE), an aggregated and theoretically plausible factor of the behaviours regarding Team Cooperation and Information Exchange.Overall, both the resulting 14-item scale and the individual subscales showed good internal consistency (scale: Cronbach’s α=.754; TC: Cronbach’s α=.813; CIE: Cronbach’s α=.763; and TAB: Cronbach’s α=.673). Table 3 displays the items and factor loadings of the final scale. Ergebnisse von Studie 1Der Gesamtmittelwert von Studie 1 ist M=3,73 mit einer Standardabweichung von SD=,70 bevor die Faktoren extrahiert wurden (siehe Tabelle 2 ). Die explorative Faktorenanalyse zeigte vier Hauptfaktoren zur weiteren Überprüfung (Eigenwerte>1). Um die zugehörigen Items herauszudestillieren; wurde die folgende Strategie angewendet: Erstens wurden nur diejenigen Items, die mindestens ,40 auf einen der primären Faktoren luden weiterhin eingeschlossen; zweitens wurden Items, die ≥,50 auf einen anderen Faktor luden ausgeschlossen (siehe Tabelle 3 ). Schließlich wurden redundante Items (Cronbach’s α über ,96) eliminiert.Die Strategie resultierte in 14 Items und es konnten 3 Faktoren identifiziert werden, die aus den theoretischen Überlegungen heraus erwartet wurden: Verhaltensweisen zur Teamanpassung (VTA), wie intendiert und definiert bei Rousseau ; Team Koordination (TK), wie die Koordinierung und Variation der Rollen in dem simulierten Szenario; und Kooperation und Informationsaustausch (KIA), ein aggregierter und theoretischer plausibler Faktor für die Verhaltensweisen hinsichtlich Team Kooperation und Informationsaustausch.Insgesamt zeigten sowohl die resultierende 14-Item Gesamtskala als auch die Subskalen gute interne Konsistenz (Skala: Cronbach’s α=,754; TK: Cronbach’s α=,813; KIA: Cronbach’s α=,763; und VTA: Cronbach’s α=,673). Tabelle 3 stellt die Items und Faktorladungen der finalen Skala dar. Discussion of Study 1The results of Study 1 show adequate psychometric properties of TAS. Three items had to be eliminated from the original item set. The remaining fourteen items can be distributed into three clear factors, theoretically derived largely from Rousseau : TC, CIE and TAB. Of note, Cooperation could not be separated from Information Exchange, a finding that advances theoretic considerations: In short, simulated scenarios cooperation is - to a large extent - information exchange and, thus, one should not try to forceably differentiate them. Methodologically, this study provides evidence to reliably measure teamwork in the context of simulated ward-round scenarios of undergraduate medical students. This context had not been covered in the existing teamwork measurement instruments reviewed above. As past studies have shown , the transfer and application of general teamwork models to the medical field is not trivial. In the present study, the theoretical conceptualisation of teamwork (consisting of TC, CIE, and TAB) could be successfully demonstrated and evaluated in a simulated medical training setting. Diskussion von Studie 1Die Ergebnisse von Studie 1 zeigen akzeptable psychometrische Eigenschaften für TAS. Drei Items mussten aus dem Originalen Itemset ausgeschlossen werden. Die vierzehn Items können in drei klar trennbare Faktoren aufgeteilt werden, welche größtenteils auf Rousseau zurückgehen: TK, KIA und VTA. Interessanterweise konnte Kooperation statistisch nicht von Informationsaustausch separiert werden ein Befund, welcher theoretische Überlegungen anstößt: In kurzen, simulationsbasierten Szenarien scheint Kooperation – zu einem großen Teil – Informationsaustausch zu sein und daher sollte auch nicht zwanghaft versucht werden, diese Anteile zu trennen.Methodisch stellt die Studie Evidenz zur Verfügung, wie Teamarbeit reliabel in kurzen simulationsbasierten Visitenszenarien von Medizinstudierenden gemessen werden kann. Dieser Kontext wurde von existierenden Messinstrumenten bisher noch nicht abgedeckt. Wie andere Studien bereits gezeigt haben , ist der Transfer und die Anwendung von generellen Teamarbeitsmodellen in das medizinische Umfeld nicht trivial. In der vorliegenden Studie wurde demonstriert, wie ein konzeptuell fundiertes Konstrukt der Teamarbeit (bestehend aus TK, KIA, und VTA) erfolgreich angewendet und in einem medizinischen Trainingssetting evaluiert werden kann. Evaluation Study 2: Construct validation of TASThe purpose of Study 2 was to assess the construct validity of TAS via comparison to an external criteria (i.e. clinical performance). Despite the variability of ward-rounds , each ward members’ role, objectives, and activities - and the typical sequence of activities - are predefined and can be called a collaboration script [23]. In our university clinic, a standard procedure for ward-rounds has been developed and implemented over the past years. Considerable time and effort has been spent by various experts to ensure that the best procedure became standardized and implemented in the clinic. This script (i.e. the structural requirements of the ward-round procedure) can be used both as an external index for the clinical performance of the team and to ensure proximity of TAS to actual teamwork. ProcedureOne hundred medical students (mean age=23.1, f=62%, m=38%) took part in the study for course credit. Twenty-five teams, each consisting of four members, performed in one of three ward-round scenarios. All scenarios were videotaped and rated in real-time with TAS by four independent raters. Two physicians and two undergraduate medical students volunteered for the study. This was done to test whether it is possible to train students in the use of TAS. All raters were trained in the use of TAS. The rating of one item was reversed as low ratings indicated good teamwork behaviour (“In situations where a team member needed help, it was not given to them.”).In this study, the structural fulfilment of the requirements of the ward-round procedure is used as an index for clinical performance. In detail, it was analysed using a coding scheme for ward-round scripts focusing on predefined roles, objectives and activities of each member as well as the typical sequence of activities in a ward-round scenario, which had been taught to the students beforehand. In our university hospital, the activities for a for one patient normally consists of four parts. We used these four parts as a coding scheme with each part considered as fulfilled or not fulfilled. An example for a coding scheme for scenario one is presented in Attachment 1 . In part one, the resident gives the relevant medical information to the senior physician. In part two, the nurse complements the doctor´s report. In part three, the patient is asked questions and examined by the resident. In part four, the resident and the senior physician discuss the treatment plan with each other and then with the patient. The overall sequence of activities consisted of the parts described in the order above. The roles were the professions active in the parts. Objectives for each part in each scenario for each of the professions were formulated (i.e. in one scenario the resident has the objective to state the T-negativations of the patient). For each scenario, one coding scheme was completed for every video by two members of the research team and received an interrater correlation of r= .99.Statistical AnalysisThe rating of all items was z-standardized. The scale’s internal consistency was checked using Cronbach’s α. Correlations of the scale were checked using Pearson correlation. Evaluationsstudie 2: Konstruktvalidierung von TASDas Ziel von Studie 2 war es die Konstruktvalidität von TAS anhand eines externen Kriteriums (z.B. klinische Performanz) zu überprüfen. Trotz der Variabilität von Visiten , sind die Rollen, Ziele und Aktivitäten – und die typische Sequenz von Aktivitäten – vordefiniert und können als Kooperationsskript bezeichnet werden . In unserem Universitätsklinikum wurde eine Standardprozedur für Visiten entwickelt und in den letzten Jahren eingeführt. Viel Zeit und Mühe ist von verschiedenen Experten investiert worden, um den bestmöglichen Ablauf einer Visite zu Standardisieren und in der Klinik einzuführen. Dieses Skript (Strukturelle Bedingungen eines Visitenablaufes) kann als ein externes Kriterium für klinische Performanz des Teams dienen und so die Nähe von TAS zu tatsächlicher Teamarbeit gewährleisten. DurchführungEinhundert Medizinstudierende (Durchschnittsalter =23,1, w=62%, m=38%) nahmen gegen Teilnahmebestätigungen an der Studie teil. Fünfundzwanzig Teams, jedes bestehend aus vier Teammitgliedern simulierten eins von drei Visitenszenarien.Alle Szenarien wurden gefilmt und in Echtzeit mit TAS von vier unabhängigen Ratern bewertet. Zwei Ärzte und zwei Medizinstudierende wurden als freiwillige Rater rekrutiert. Diese Gruppen wurden ausgewählt, um zu testen, ob es möglich ist, Studierende zum Verwenden von TAS zu trainieren. Alle Rater wurden gleichermaßen im Umgang mit TAS geschult. Das Rating von einem Item war umgekehrt kodiert, da niedrige Werte gutes Teamarbeitsverhalten anzeigte.In dieser Studie wurde das strukturierte Erfüllen der Voraussetzungen für eine Visite als ein Index für klinische Performanz verwendet. Im Detail wurde dies anhand eines Kodierschemas für Visiten operationalisiert. Das Kodierschema fokussierte auf die vordefinierten Rollen, Ziele und Aktivitäten (sowie deren Reihenfolge) von jedem Teammitglied innerhalb eines Visitenszenarios, welches vorher den Studierenden beigebracht wurde. In unserer Klinik bestehen die Aktivitäten einer Visite für einen Patienten normalerweise aus vier Teilen. Diese vier Teile dienn als ein Kodierschema bei dem jeder Teil als erfüllt bzw. nicht erfüllt gelten kann. Ein Beispiel für das Kodierschema für Szenario eins ist in Anhang 1 dargestellt. In Teil eins gibt der Assistenzarzt die relevante medizinische Information an den Oberarzt. In Teil zwei ergänzt die Pflegekraft den Bericht des Assistenzarztes. In Teil drei wird der Patient befragt und von dem Assistenzarzt untersucht. In Teil vier diskutieren der Assistenzarzt und der Oberarzt den Behandlungsplan zunächst miteinander und dann mit dem Patienten. Die Reihenfolge der Aktivitäten wurde anhand der oben beschriebenen Reihenfolge bestimmt. Die Rollen waren die in den Szenarien enthaltenen Professionen. Die Ziele für jeden Szenarios wurden für jede der Professionen formuliert (z.B. in einem Szenario hat der Assistenzarzt das Ziel, die T-Negativierungen des Patienten mitzuteilen). Für jedes Szenario wurde ein Kodierschema für jedes Video von zwei Mitgliedern des Forschungsteams ausgefüllt. Es konnte hierfür eine Interraterkorrelation von r=,99 erzielt werden.Statistische AnalyseDas Rating aller Items wurde z-standardisiert. Die interne Konsistenz wurde mit Cronbach’s α überprüft. Korrelationen der Skala wurden anhand von Pearson Korrelationen berechnet. Results of Study 2The descriptive data for study two is presented in Table 4 . Cronbach’s a for the TAS was good (α=.78) for the physicians and moderate for the students (α=.69). The inter-rater correlation for the physicians was rPhysician1,Physician2=.90 and for students rStudent1, Student2=.36. For the physicians, significant correlations were obtained between all three factors: TC, CIE and TAB and clinical performance (CP) (rTC,CP=.60, rCIE,CP=59., rTAB,CP=.52) as well as between the total score and clinical performance (rTAS,CP=.64). However, for student raters, no significant correlation for the three factors with clinical performance (rTC,CP=.18, rCIE,CP=.04, rTAB,CP=.00.), nor between the total score and clinical performance, could be found (rTAS,CP=.04). This shows that TAS scores of physicians are more closely related to an external criterion. The correlations between clinical performance and TAS are summarized in Table 5 . Ergebnisse von Studie 2Die deskriptive Statistik für Studie zwei ist in Tabelle 4 dargestellt. Cronbach’s α für die TAS war gut (α=,78) für die Ärzte und moderat gut für die Studierenden (α=,69). Die inter-rater Korrelation für die Ärzte war rArzt1,Arzt2=,90 und für Studierenden rStudent1, Student2=,36. Für die Ärzte konnten signifikante Korrelationen zwischen allen drei Faktoren und klinischer Performanz (KP) gefunden werden: TK, KIA und VTA (rTK,KP=,60, rKIA,KP=,59, rVTA,KP=,52) sowie zwischen dem Gesamtscore der Skala und klinischer Performanz (rTAS,KP=,64).Jedoch konnten für die Studierenden Rater keine signifikanten Korrelationen der drei Faktoren mit klinischer Performanz gefunden werden (rTK,KP=,18, rKIA,KP=,04, rVTA,KP=,00), auch nicht zwischen dem Gesamtscore der Skala und klinischer Performanz (rTAS,KP=,04). Dies zeigt, das TAS Werte von Ärzten näher mit einem externen Kriterium zusammenhängen. Die Korrelationen zwischen klinischer Performanz und TAS sind in Tabelle 5 zusammengefasst. Discussion of Study 2In the second study, TAS shows a significant relationship between TAS and clinical performance in ward-round scenarios (rTAS,CP=.64) for experienced physicians. Furthermore, TAS shows higher consistency in scoring by physicians than by medical students. Although Cronbach’s α show adequate values for student ratings, there seems to be no connection of ratings to the actual clinical performance of the team. Students´ scores seem to be consistent– but consistently wrong. Overall, the construct validity of TAS can be considered as adequate to high for the use of physician raters in simulated ward-round scenarios of medical students.Further validation is necessary to confirm our findings. Clinical performance analysed as scripted best-practice information by roles, objectives, activities, and sequence of activities is considered to be a promising direction for future validation steps. Diskussion von Studie 2In der zweiten Studie konnte eine signifikanter Zusammenhang zwischen TAS und klinischer Performanz in Visitenszenarien für erfahrene Ärzte als Rater gezeigt werden (rTAS,KP=,64). Weiterhin zeigte TAS eine höhere interne Konsistenz der Werte bei Ärzten als bei Studierenden. Obwohl Cronbach’s α moderat gute Werte für Studierende zeigt, scheint dort kein Zusammenhang zwischen den Bewertungen und der tatsächlichen klinischen Performanz zu bestehen. Die Werte der Studierenden Rater scheinen konsistent zu sein, jedoch konsistent falsch. Insgesamt kann die Konstruktvalidität von TAS als angemessen bis hoch bewertet werden , wenn Ärzte in simulationsbasierten Szenarien von Medizinstudierenden als Rater eingesetzt werden.Weitere Validierungen sind notwendig, um unsere Befunde zu bestätigen. Klinische Performanz, hier analysiert als geskriptete best-verfügbare Informationen nach Rollen, Zielen, Aktivitäten und deren Reihenfolge, kann als hoffnungsvoller erster Schritt für weitere Validierungsarbeiten gesehen werden. General DiscussionThe goal of this study was to develop an instrument for which the components and behavioral definitions derive from current teamwork research. Study 1 showed that the psychometric quality of TAS with trained raters was sufficiently high to measure teamwork. Both validation studies indicate good internal consistency for trained raters with teamwork experience. TAS has not yet been used, however, to validate teamwork trainings. Furthermore, there is an indication of construct validity for TAS: The comparison between physician and student raters indicated that the physicians’ ratings are more reliable than those of students, and only the ratings of the physicians had a significant relation to clinical performance as an external criteria. TAS differs in several key features from analogous instruments available in the current literature. First, TAS is an instrument specifically designed for the purposes of simulation-based training for medical students. Second, building on prior developments , , , , , , , TAS goes beyond the existing approaches to measure teamwork behaviour by defining each teamwork behaviour within a hierarchical, theoretical framework . This structural approach will allow for behavioural feedback deriving specifically from the instruments’ subscales of TC, TAB and CIE, a consideration that has not been included in other instruments , , , , , , , . Third, TAS also goes beyond the existing approaches by verifying construct validity in the early development stage. Through this theory-based development and preliminary construct validation, TAS seems closely related to actual teamwork of students. Although the findings of our studies are both in the context of simulated ward-rounds, the items within TAS are formulated in a generalized way to enable the measurement of simulated student teamwork beyond this medical context. Generelle DiskussionDas Ziel der Studie war es ein Instrument zu entwickeln, für welches die Komponenten und die verhaltensnahen Definitionen aus der aktuellen Teamarbeitsforschung stammen. Studie 1 zeigte, dass die psychometrischen Qualitäten von TAS mit trainierten Ratern ausreichend hoch waren, um Teamarbeit zu messen. Beide Validierungsstudien deuten auf gute interne Konsistenz für trainierte Rater mit Teamarbeitserfahrung hin. TAS wurde bisher noch nicht verwendet, um Teamarbeitstrainings zu validieren. Weiterhin konnte erste Evidenz für die Konstruktvalidität von TAS generiert werden: Der Vergleich zwischen Ärzten und studentischen Ratern zeigte, dass die Ratings von Ärzten reliabler sind und nur die Ratings von Ärzten einen signifikanten Zusammenhang zu klinischer Performanz als externes Kriterium haben.TAS unterscheidet sich in einigen wichtigen Eigenschaften von anderen Instrumenten, welche zur Zeit in der Literatur verfügbar sind. Erstens ist TAS ein Instrument, welches spezifisch für die Zwecke von simulationsbasiertem Training Medizinstudierender entwickelt wurde. Zweitens wurde, aufbauend auf vorherigen Entwicklungsarbeiten , , , , , , , TAS so entwickelt, dass jedes Teamarbeitsverhalten innerhalb eines hierarchischen theoretischen Rahmenmodells klar definiert wurde . Dieser strukturierte Ansatz wird es möglich machen, verhaltensnahes Feedback aus den Subskalen TK, VTA und KIA abzuleiten, eine Überlegung, die in andere Instrumente bisher nicht eingeflossen ist , , , , , , , . Drittens geht TAS über bestehende Validierungsarbeiten insofern hinaus, als dass auf die Überprüfung von Konstruktvalidität schon im frühen Entwicklungsstadium Wert gelegt wurde. Durch diese theoriebasierte Entwicklung und vorläufiger Konstruktvalidierung scheint TAS eng mit tatsächlicher Teamarbeit in Zusammenhang zu stehen. Obwohl die Ergebnisse beider Studien im Kontext von simulationsbasierten Visiten stattfanden, sind die Items von TAS genereller formuliert, um Messung simulationsbasierter studentischer Teamarbeit auch außerhalb dieses Kontexts möglich zu machen. LimitationsThe presented studies have two limitations: First, the instrument has been designed for undergraduate courses, which may limit the use of the instrument beyond the classroom. Second, despite careful selection of experts and independent ratings, study two was conducted with only four raters, which limits the findings to this small sample. This limitation is ameliorated by the stable internal consistency found for TAS in both studies. In addition, power analysis with a medium effect size (ρ=.30) indicates a sufficient measurement power for both study one (1- β=.82) and study two (1- β=.96) for the assessment points. LimitationenDie hier dargestellten Studien haben zwei Limitationen: Erstens wurde das Instrument für Studierendenkurse entwickelt, so dass sich der Einsatz des Instruments hierauf beschränken könnte. Zweitens wurde trotz der sorgfältigen Auswahl von Experten und unabhängigen Ratings Studie 2 nur mit vier Ratern durchgeführt, welche die Ergebnisse auf diese kleine Stichprobe beschränkt. Diese Einschränkungen werden abgeschwächt durch die stabile interne Konsistenz von TAS in beiden Studien. Zusätzlich zeigte eine post-hoc Poweranalyse sowohl für Studie 1 (1- β=,82) als auch Studie 2 (1- β=,96) für die Datenpunkte hohe Werte. ApplicationTAS, as presented here, is an easy-to-use instrument to evaluate behavioural components in simulated student ward-rounds via ratings of an experienced physician. To use TAS, only a short training video-based session is necessary to help anchor the ratings and TAS can then be used to guide further development of simulated teamwork scenarios. The final version of TAS is provided in Attachment 2 . AnwendungTAS, wie hier dargestellt, ist ein einfach zu verwendendes Instrument, um verhaltensnahe Komponenten in simulationsbasierten Visitenkurse mit Studierenden von erfahrenen Ärzten raten zu lassen. Um TAS zu benutzen, ist lediglich ein videogestütztes Training notwendig, um die Ratings richtig zu verankern. TAS kann so eingesetzt werden, um die Entwicklungsarbeiten simulierter Teamarbeitsszenarien voranzutreiben. Die finale Version von TAS ist in Anhang 2 dargestellt. OutlookThe validation showed that the behavioural components of teamwork, as drawn from the theoretical teamwork model by Rousseau , can provide a framework for measuring teamwork. As the focus of TAS lies on the applicability within short, simulated scenarios, the development of the scale focused on behavioural components of Team Adjustment Behaviours and Task-related Collaborative Behaviours. Certainly, actual teamwork is much broader (as the framework shows as well) and scales focusing on the other components could complement TAS (i.e. for the learning of long-term teams in an actual hospital setting). The factorial analysis was not able to separate items regarding Information Exchange and Cooperation but could separate Coordination. This can be explained by the high coordinative effort needed to operate in simulated scenarios. To date, coordinative behaviour was proven to serve as a protective barrier for medical errors in emergency medicine [18] but has not yet been of special interest in other hospital settings. As the possibility of measurement exists, future studies could question whether the same results regarding coordination can be found in other simulated hospital settings as well.Future research should focus on questions regarding the use of the instrument as a source for feedback and subsequent learning achievement on an individual- and team-level. Such research could clarify whether TAS is sensitive to change. Since the current research has shown that training of students is not enough to adequately measure teamwork with TAS, future studies should address the question of whether a deeper understanding of teamwork in medicine and improved rater training can overcome this application barrier for novices. An analysis of the relation to the existing specific scales for emergency medicine , , surgery , or anaesthetics has not yet been done but could help to further clarify the range of application for TAS. Methodologically, the construct validation of behavioural observation of TAS with clinical performance analysed as detailed script information by roles, objectives, activities, and sequence of activities is considered to be a promising direction for future research.With further validation, TAS can guide the development and implementation of simulation-based teamwork training programs in medical education , . We hope that TAS can contribute to the further improvement of simulation-based teamwork training and, ultimately, to safer healthcare. AusblickDie Validierung zeigte, dass verhaltensnahe Komponenten von Teamarbeit, bezogen vom Modell von Rousseau et al. , einen Rahmen zur Messung von Teamarbeit bieten. Da ein Fokus von TAS auf der Anwendbarkeit innerhalb kurzer, simulationsbasierter Szenarios liegt wurde die Entwicklung auf die verhaltensnahen Komponenten von Verhaltensweisen zur Teamanpassung und Aufgabenbezogene kooperative Verhaltensweisen beschränkt. Selbstverständlich ist real stattfindende Teamarbeit viel breiter (wie ja auch das Modell suggeriert) und die Skalen, welche die anderen Anteile messen, könnten TAS ergänzen (z.B. für das langfristige Lernen von Teams in einem Krankenhaussetting). Die Faktorenanalyse konnte die Items hinsichtlich Informationsaustausch und Kooperation nicht separieren. Dies kann durch den hohen koordinativen Aufwand erklärt werden, welcher in simulationsbasierten Szenarien notwendig ist. Koordinatives Verhalten wird heute als ein protektives Verhalten für Fehler in der Notfallmedizin angesehen wurde aber bisher nicht näher in anderen Krankenhaussettings untersucht. Da nun die Möglichkeit zur Messung von Koordination besteht, könnten zukünftige Studien untersuchen, ob diese Ergebnisse in anderen simulationsbasierten Krankenhaussettings ebenfalls gefunden werden können. Zukünftige Studien sollten untersuchen, ob das Instrument als eine Quelle von Feedback und individuellem und Teamlernen eingesetzt werden kann. Solche Forschung könnte klären, ob TAS änderungssensitiv misst. Da diese Studien gezeigt haben, dass das einfache Trainieren von Studierenden Ratern nicht ausreicht, um Teamarbeit mit TAS messen zu können, könnten zukünftige Studien auch darauf fokussieren, ob ein tieferes Verständnis und mehr Wissen über Teamarbeit und verbessertes Rater-training solche Anwendungsbarrieren für Novizen abbaut. Eine Analyse des Zusammenhangs zwischen den schon länger existierenden Skalen für Notfallmedizin , , Chirurgie oder Anästhesie wurde bisher noch nicht durchgeführt und könnte helfen, die Anwendungsbreite von TAS zu klären. Methodisch ist die Konstruktvalidierung der Verhaltensbeobachtung von TAS mit klinischer Performanz, welche als detaillierte Skriptinformationen der Rollen, Ziele, Aktivitäten und deren Reihenfolge definiert ist, eine vielversprechende Richtung für zukünftige Forschung. Mit weiterer Validierung kann TAS die Entwicklung und Implementierung von simulationsbasierten Teamarbeitstrainingsprogrammen in medizinischen Ausbildungen unterstützen , . Wir hoffen, dass TAS zu einer weiteren Verbesserung von simulationsbasierten Teamarbeitstrainings, und schließlich sicherer Patientenversorgung, einen Beitrag leistet. Acknowledgement*The initial ideas for items 1, 2, 6, 7, 8, 9, 13, 14, 15 derived from the instrument by Weller et al. , the ideas for items 3, 4, 12, 17, 16 derived from Malec et al. , the ideas for item 10, 11 and 15 derived from Fletcher et al. (see Table 2 ).The first author is thankful for a DAAD grant during the time of the manuscript preparation. The application of the scale is free of charge but the authors appreciate a short note when doing so. Zurkenntnisnahme*Die initialen Ideen für die Items 1, 2, 6, 7, 8, 9, 13, 14, 15 entstammen aus dem Instrument von Weller et al. , die Ideen für Items 3, 4, 12, 17, 16 stammen von Malec et al. , die Ideen für 10, 11 und 15 stammen von Fletcher et al. (siehe Tabelle 2 ).Der Erstautor ist dankbar für ein DAAD Stipendium während der Zeit der Manuskripterstellung. Die Anwendung der Skala ist kostenfrei, jedoch freuen sich die Autoren über einen kurzen entsprechenden Hinweis. Competing interestsThe authors declare that they have no competing interrests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Manser T Teamwork and patient safety in dynamic domains of healthcare: a review of the literature 2009 Acta Anaesthesiol Scand 143-151 Manser T. Teamwork and patient safety in dynamic domains of healthcare: a review of the literature. Acta Anaesthesiol Scand. 2009;53(2):143-151. DOI: 10.1111/j.1399-6576.2008.01717.x http://dx.doi.org/10.1111/j.1399-6576.2008.01717.x Webb R Van der Walt J Runciman W Williamson J Cockings J Russell W The Australian Incident Monitoring Study. Which monitor? An analysis of 2000 incident reports 1993 Anaesth Intensive Care 529-542 Webb R, Van der Walt J, Runciman W, Williamson J, Cockings J, Russell W, et al. The Australian Incident Monitoring Study. Which monitor? An analysis of 2000 incident reports. Anaesth Intensive Care. 1993;21(5):529-542. Reason J 1990 Human error Reason J. Human error. Cambridge, UK: Cambridge University Press; 1990. DOI: 10.1017/CBO9781139062367 http://dx.doi.org/10.1017/CBO9781139062367 Bogner MS 1994 Human error in medicine Bogner MS. Human error in medicine. Hillsdale, New Jersey: L. Erlbaum Associates; 1994. Sexton JB Thomas EJ Helmreich RL Error, stress, and teamwork in medicine and aviation: cross sectional surveys 2000 Br Med J 745-749 Sexton JB, Thomas EJ, Helmreich RL. Error, stress, and teamwork in medicine and aviation: cross sectional surveys. Br Med J. 2000;320(7237):745-749. DOI: 10.1136/bmj.320.7237.745 http://dx.doi.org/10.1136/bmj.320.7237.745 Reader TW Flin R Cuthbertson BH Communication skills and error in the intensive care unit 2007 Curr Opin Crit Care 732. DOI; 10.1097/MCC Reader TW, Flin R, Cuthbertson BH. Communication skills and error in the intensive care unit. Curr Opin Crit Care. 2007;13(6):732. DOI; 10.1097/MCC.0b013e3282f1bb0e Drösler SE Klazinga NS Romano PS Tancredi DJ Aoiz MAG Hewitt MC Scobie S Soop M Wen E Quan H Ghali WA Mattke S Kelley E Application of patient safety indicators internationally: a pilot study among seven countries 2009 Int J Qual Health Care 272-278 Drösler SE, Klazinga NS, Romano PS, Tancredi DJ, Aoiz MAG, Hewitt MC, Scobie S, Soop M, Wen E, Quan H, Ghali WA, Mattke S, Kelley E. Application of patient safety indicators internationally: a pilot study among seven countries. Int J Qual Health Care. 2009;21(4):272-278. DOI: 10.1093/intqhc/mzp018 http://dx.doi.org/10.1093/intqhc/mzp018 Gorman JC Cooke NJ Winner JL Duran JL Pedersen HK Taylor AR 2007 Knowledge training versus process training: The effects of training protocol on team coordination and performance Gorman JC, Cooke NJ, Winner JL, Duran JL, Pedersen HK, Taylor AR. Knowledge training versus process training: The effects of training protocol on team coordination and performance. Human Factors and Ergonomics Society Annual Meeting 2007. Las Vegas: SAGE Publications; 2007. Chakraborti C Boonyasai RT Wright SM Kern DE A systematic review of teamwork training interventions in medical student and resident education 2008 J Gen Inter Med 846-853 Chakraborti C, Boonyasai RT, Wright SM, Kern DE. A systematic review of teamwork training interventions in medical student and resident education. J Gen Inter Med. 2008;23(6):846-853. DOI: 10.1007/s11606-008-0600-6 http://dx.doi.org/10.1007/s11606-008-0600-6 Rousseau V Aubé C Savoie A Teamwork Behaviors 2006 Small Gr Res 540-570 Rousseau V, Aubé C, Savoie A. Teamwork Behaviors. Small Gr Res. 2006;37(5):540-570. DOI: 10.1177/1046496406293125 http://dx.doi.org/10.1177/1046496406293125 Salas E Cooke NJ Rosen MA On teams, teamwork, and team performance: Discoveries and developments 2008 Human Factors 540-547 Salas E, Cooke NJ, Rosen MA. On teams, teamwork, and team performance: Discoveries and developments. Human Factors. 2008;50(3):540-547. DOI: 10.1518/001872008X288457 http://dx.doi.org/10.1518/001872008X288457 McGaghie WC Issenberg SB Petrusa ER Scalese RJ A critical review of simulation-based medical education research: 2003–2009 2010 Med Educ 50-63 McGaghie WC, Issenberg SB, Petrusa ER, Scalese RJ. A critical review of simulation-based medical education research: 2003–2009. Med Educ. 2010;44(1):50-63. DOI: 10.1111/j.1365-2923.2009.03547.x http://dx.doi.org/10.1111/j.1365-2923.2009.03547.x Sevdalis N Lyons M Healey AN Undre S Darzi A Vincent CA Observational teamwork assessment for surgery: construct validation with expert versus novice raters 2009 Annal Surg 1047 Sevdalis N, Lyons M, Healey AN, Undre S, Darzi A, Vincent CA. Observational teamwork assessment for surgery: construct validation with expert versus novice raters. Annal Surg. 2009;249(6):1047. DOI: 10.1097/SLA.0b013e3181a50220 http://dx.doi.org/10.1097/SLA.0b013e3181a50220 Fletcher G Flin R McGeorge P Glavin R Maran N Patey R Anaesthetists' Non-Technical Skills (ANTS): evaluation of a behavioural marker system† 2003 Br J Anaesth 580-588 Fletcher G, Flin R, McGeorge P, Glavin R, Maran N, Patey R. Anaesthetists' Non-Technical Skills (ANTS): evaluation of a behavioural marker system†. Br J Anaesth. 2003;90(5):580-588. DOI: 10.1093/bja/aeg112 http://dx.doi.org/10.1093/bja/aeg112 Reznek M Smith-Coggins R Howard S Kiran K Harter P Sowb Y Gaba D Krummel T Emergency Medicine Crisis Resource Management (EMCRM): Pilot study of a simulation-based crisis management course for emergency medicine 2003 Acad Emerg Med 386-389 Reznek M, Smith-Coggins R, Howard S, Kiran K, Harter P, Sowb Y, Gaba D, Krummel T. Emergency Medicine Crisis Resource Management (EMCRM): Pilot study of a simulation-based crisis management course for emergency medicine. Acad Emerg Med. 2003;10(4):386-389. DOI: 10.1111/j.1553-2712.2003.tb01354.x http://dx.doi.org/10.1111/j.1553-2712.2003.tb01354.x Rosen MA Salas E Silvestri S Wu TS Lazzara EH A measurement tool for simulation-based training in emergency medicine: the simulation module for assessment of resident targeted event responses (SMARTER) approach 2008 Simul Healthc 170 Rosen MA, Salas E, Silvestri S, Wu TS, Lazzara EH. A measurement tool for simulation-based training in emergency medicine: the simulation module for assessment of resident targeted event responses (SMARTER) approach. Simul Healthc. 2008;3(3):170. DOI: 10.1097/SIH.0b013e318173038d http://dx.doi.org/10.1097/SIH.0b013e318173038d Weller J Frengley R Torrie J Shulruf B Jolly B Hopley L Hendersdon K Dzendrowskyj P Yee B Paul A Evaluation of an instrument to measure teamwork in multidisciplinary critical care teams 2011 BMJ Qual Saf 216-222 Weller J, Frengley R, Torrie J, Shulruf B, Jolly B, Hopley L, Hendersdon K, Dzendrowskyj P, Yee B, Paul A. Evaluation of an instrument to measure teamwork in multidisciplinary critical care teams. BMJ Qual Saf. 2011;20(3):216-222. DOI: 10.1136/bmjqs.2010.041913 http://dx.doi.org/10.1136/bmjqs.2010.041913 Malec JF Torsher LC Dunn WF Wiegmann DA Arnold JJ Brown DA Phatak V The mayo high performance teamwork scale: reliability and validity for evaluating key crew resource management skills 2007 Simul Healthc 4 Malec JF, Torsher LC, Dunn WF, Wiegmann DA, Arnold JJ, Brown DA, Phatak V. The mayo high performance teamwork scale: reliability and validity for evaluating key crew resource management skills. Simul Healthc. 2007;2(1):4. DOI: 10.1097/SIH.0b013e31802b68ee http://dx.doi.org/10.1097/SIH.0b013e31802b68ee Nørgaard K Ringsted C Dolmans D Validation of a checklist to assess ward round performance in internal medicine 2004 Med Educ 700-707 Nørgaard K, Ringsted C, Dolmans D. Validation of a checklist to assess ward round performance in internal medicine. Med Educ. 2004;38(7):700-707. DOI: 10.1111/j.1365-2929.2004.01840.x http://dx.doi.org/10.1111/j.1365-2929.2004.01840.x Nikendei C Kraus B Lauber H Schrauth M Weyrich P Zipfel S Jünger J Briem S An innovative model for teaching complex clinical procedures: Integration of standardised patients into ward round training for final year students 2007 MedTeach 246-252 Nikendei C, Kraus B, Lauber H, Schrauth M, Weyrich P, Zipfel S, Jünger J, Briem S. An innovative model for teaching complex clinical procedures: Integration of standardised patients into ward round training for final year students. MedTeach. 2007;29(2-3):246-252. DOI: 10.1080/01421590701299264 http://dx.doi.org/10.1080/01421590701299264 Kollar I Fischer F Hesse FW Collaboration scripts–a conceptual analysis 2006 Educ Psychol Rev 159-185 Kollar I, Fischer F, Hesse FW. Collaboration scripts–a conceptual analysis. Educ Psychol Rev. 2006;18(2):159-185. DOI: 10.1007/s10648-006-9007-2 http://dx.doi.org/10.1007/s10648-006-9007-2 Salas E Sims DE Burke CS Is there a "Big Five" in teamwork? 2005 Small Gr Res 555-599 Salas E, Sims DE, Burke CS. Is there a "Big Five" in teamwork? Small Gr Res. 2005;36(5):555-599. DOI: 10.1177/1046496405277134 http://dx.doi.org/10.1177/1046496405277134 Wagner JA Studies of individualism-collectivism: Effects on cooperation in groups 1995 Acad Manag J 152-172 Wagner JA. Studies of individualism-collectivism: Effects on cooperation in groups. Acad Manag J. 1995:152-172. DOI: 10.2307/256731 http://dx.doi.org/10.2307/256731 Erez A Lepine JA Elms H Effects of Rotated Leadership and peer Evaluation on the functioning and effectiveness of self-managed teams: A quasi-experiment 2002 Pers Psych 929-948 Erez A, Lepine JA, Elms H. Effects of Rotated Leadership and peer Evaluation on the functioning and effectiveness of self-managed teams: A quasi-experiment. Pers Psych. 2002;55(4):929-948. DOI: 10.1111/j.1744-6570.2002.tb00135.x http://dx.doi.org/10.1111/j.1744-6570.2002.tb00135.x Thomas E Sexton J Helmreich R Translating teamwork behaviours from aviation to healthcare: development of behavioural markers for neonatal resuscitation 2004 Qual Saf Health Care i57-i64 Thomas E, Sexton J, Helmreich R. Translating teamwork behaviours from aviation to healthcare: development of behavioural markers for neonatal resuscitation. Qual Saf Health Care. 2004;13(suppl 1):i57-i64. DOI: 10.1136/qshc.2004.009811 http://dx.doi.org/10.1136/qshc.2004.009811 Bortz J Döring N 2006 Forschungsmethoden und Evaluation für Human und Sozialwissenschaftler Bortz J, Döring N. Forschungsmethoden und Evaluation für Human und Sozialwissenschaftler, 4. überarb. Aufl. Heidelberg: Springer; 2006. 11en1de

22en2de

33en3de

44en4de

55en5de

5 0 0 1 1en 1de Attachment 1: Example of the coding scheme used for scenario one Anhang 1: Beispiel des Kodierschemas, verwendet für Szenario eins 2 2en 2de Attachment 2: Teamwork Assessment Scale (TAS) with a 5 point Likert-scale Anhang 2: Teamarbeitsskala (TAS) mit einer 5-Punkte Likert-skala 2