<?xml version="1.0" encoding="iso-8859-1" standalone="no"?>
<!DOCTYPE GmsArticle SYSTEM "http://www.egms.de/dtd/2.0.34/GmsArticle.dtd">
<GmsArticle xmlns:xlink="http://www.w3.org/1999/xlink">
  <MetaData>
    <Identifier>zma001288</Identifier>
    <IdentifierDoi>10.3205/zma001288</IdentifierDoi>
    <IdentifierUrn>urn:nbn:de:0183-zma0012880</IdentifierUrn>
    <ArticleType language="en">commentary</ArticleType>
    <ArticleType language="de">Kommentar</ArticleType>
    <TitleGroup>
      <Title language="en">Complexity of clinical cases in simulated learning environments: proposal for a scoring system</Title>
      <TitleTranslated language="de">Komplexit&#228;t klinischer F&#228;lle in simulierten Lernumgebungen: Vorschlag f&#252;r ein Bewertungsverfahren</TitleTranslated>
    </TitleGroup>
    <CreatorList>
      <Creator>
        <PersonNames>
          <Lastname>Braun</Lastname>
          <LastnameHeading>Braun</LastnameHeading>
          <Firstname>Leah Theresa</Firstname>
          <Initials>LT</Initials>
        </PersonNames>
        <Address language="en">Ludwig-Maximilians-University (LMU) Munich, Klinikum der Universit&#228;t M&#252;nchen, Medizinische Klinik und Poliklinik IV, Ziemssenstr. 1, D-80336 Munich, Germany<Affiliation>Ludwig-Maximilians-University (LMU) Munich, Klinikum der Universit&#228;t M&#252;nchen, Medizinische Klinik und Poliklinik IV, Munich, Germany</Affiliation></Address>
        <Address language="de">Ludwig-Maximilians-Universit&#228;t (LMU) M&#252;nchen, Klinikum der Universit&#228;t M&#252;nchen, Medizinische Klinik und Poliklinik IV, Ziemssenstr. 1, 80336 M&#252;nchen, Deutschland<Affiliation>Ludwig-Maximilians-Universit&#228;t (LMU) M&#252;nchen, Klinikum der Universit&#228;t M&#252;nchen, Medizinische Klinik und Poliklinik IV, M&#252;nchen, Deutschland</Affiliation></Address>
        <Email>Leah.Braun&#64;med.uni-muenchen.de</Email>
        <Creatorrole corresponding="yes" presenting="no">author</Creatorrole>
      </Creator>
      <Creator>
        <PersonNames>
          <Lastname>Lenzer</Lastname>
          <LastnameHeading>Lenzer</LastnameHeading>
          <Firstname>Benedikt</Firstname>
          <Initials>B</Initials>
        </PersonNames>
        <Address language="en">
          <Affiliation>Ludwig-Maximilians-University (LMU) Munich, Klinikum der Universit&#228;t M&#252;nchen, Institut f&#252;r Didaktik und  Ausbildungsforschung in der Medizin, Munich, Germany</Affiliation>
        </Address>
        <Address language="de">
          <Affiliation>Ludwig-Maximilians-Universit&#228;t (LMU) M&#252;nchen, Klinikum der Universit&#228;t M&#252;nchen, Institut f&#252;r Didaktik und  Ausbildungsforschung in der Medizin, M&#252;nchen, Deutschland</Affiliation>
        </Address>
        <Email>Benedikt.lenzer&#64;med.uni-muenchen.de</Email>
        <Creatorrole corresponding="no" presenting="no">author</Creatorrole>
      </Creator>
      <Creator>
        <PersonNames>
          <Lastname>Fischer</Lastname>
          <LastnameHeading>Fischer</LastnameHeading>
          <Firstname>Martin R.</Firstname>
          <Initials>MR</Initials>
        </PersonNames>
        <Address language="en">
          <Affiliation>Ludwig-Maximilians-University (LMU) Munich, Klinikum der Universit&#228;t M&#252;nchen, Institut f&#252;r Didaktik und  Ausbildungsforschung in der Medizin, Munich, Germany</Affiliation>
        </Address>
        <Address language="de">
          <Affiliation>Ludwig-Maximilians-Universit&#228;t (LMU) M&#252;nchen, Klinikum der Universit&#228;t M&#252;nchen, Institut f&#252;r Didaktik und  Ausbildungsforschung in der Medizin, M&#252;nchen, Deutschland</Affiliation>
        </Address>
        <Email>martin.fischer&#64;med.uni-muenchen.de</Email>
        <Creatorrole corresponding="no" presenting="no">author</Creatorrole>
      </Creator>
      <Creator>
        <PersonNames>
          <Lastname>Schmidmaier</Lastname>
          <LastnameHeading>Schmidmaier</LastnameHeading>
          <Firstname>Ralf</Firstname>
          <Initials>R</Initials>
        </PersonNames>
        <Address language="en">
          <Affiliation>Ludwig-Maximilians-University (LMU) Munich, Klinikum der Universit&#228;t M&#252;nchen, Medizinische Klinik und Poliklinik IV, Munich, Germany</Affiliation>
        </Address>
        <Address language="de">
          <Affiliation>Ludwig-Maximilians-Universit&#228;t (LMU) M&#252;nchen, Klinikum der Universit&#228;t M&#252;nchen, Medizinische Klinik und Poliklinik IV, M&#252;nchen, Deutschland</Affiliation>
        </Address>
        <Email>ralf.schmidmaier&#64;med.uni-muenchen.de</Email>
        <Creatorrole corresponding="no" presenting="no">author</Creatorrole>
      </Creator>
    </CreatorList>
    <PublisherList>
      <Publisher>
        <Corporation>
          <Corporatename>German Medical Science GMS Publishing House</Corporatename>
        </Corporation>
        <Address>D&#252;sseldorf</Address>
      </Publisher>
    </PublisherList>
    <SubjectGroup>
      <SubjectheadingDDB>610</SubjectheadingDDB>
      <SectionHeading language="en">Case-based Learning</SectionHeading>
      <SectionHeading language="de">Fallbasiertes Lernen</SectionHeading>
    </SubjectGroup>
    <DateReceived>20180415</DateReceived>
    <DateRevised>20181124</DateRevised>
    <DateAccepted>20190122</DateAccepted>
    <DatePublishedList>
      
    <DatePublished>20191115</DatePublished><DateRepublished>20191205</DateRepublished></DatePublishedList>
    <Language>engl</Language>
    <LanguageTranslation>germ</LanguageTranslation>
    <License license-type="open-access" xlink:href="http://creativecommons.org/licenses/by/4.0/">
      <AltText language="en">This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License.</AltText>
      <AltText language="de">Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung).</AltText>
    </License>
    <SourceGroup>
      <Journal>
        <ISSN>2366-5017</ISSN>
        <Volume>36</Volume>
        <Issue>6</Issue>
        <JournalTitle>GMS Journal for Medical Education</JournalTitle>
        <JournalTitleAbbr>GMS J Med Educ</JournalTitleAbbr>
        <IssueTitle>Clinical Reasoning/Klinische Entscheidungsfindung</IssueTitle>
      </Journal>
    </SourceGroup>
    <ArticleNo>80</ArticleNo>
    <Correction><DateLastCorrection>20191205</DateLastCorrection>A typing error in Figure 1 has been corrected.</Correction>
  </MetaData>
  <OrigData>
    <TextBlock language="en" linked="yes" name="Introduction">
      <MainHeadline>Introduction</MainHeadline><Pgraph>Diagnosing can be understood as the purposeful collection and evaluation of information for the purposes of uncertainty reduction to make a clinical decision. In medical education, students can be introduced to this task through simulations: Case-based learning has long been an important part of medical education <TextLink reference="1"></TextLink>. In most curricula and in many exam situations, it is essential to work with clinical cases. Clinical cases are also used in medical education research for training and measurement of diagnostic competence. In studies, standardized cases in the form of virtual patients <TextLink reference="2"></TextLink>, <TextLink reference="3"></TextLink> are used frequently. To improve diagnostic skills, learners are supported in case-based learning with virtual patient cases through various prompts (so-called scaffolds). Examples of scaffolds are structured reflection <TextLink reference="4"></TextLink>, feedback in different forms <TextLink reference="5"></TextLink> or representation prompts <TextLink reference="6"></TextLink>. However, the results of these studies regarding the effectiveness of the various interventions on diagnostic competence are contradictory. One reason for this could be that the degree of complexity of the used cases varies and therefore, the different scaffolding methods are of different value. </Pgraph><Pgraph>The term complex (Latin: complexus, Part.adj. to Latin complecti &#8220;embrace&#8221;) means comprehensive, diverse, intertwined, multi-layered &#91;<Hyperlink href="https:&#47;&#47;www.dwds.de&#47;wb&#47;komplex">https:&#47;&#47;www.dwds.de&#47;wb&#47;komplex</Hyperlink>, last accessed on 18.11.2018&#93;. Complexity refers to systems with many components that can interact in different ways. In common usage, complexity is often equated with difficulty. In the diagnostic context, however, we propose a clear separation of the two terms (see <TextGroup><PlainText>figure 1 </PlainText></TextGroup><ImgLink imgNo="1" imgType="figure"/><TextGroup><PlainText>):</PlainText></TextGroup></Pgraph><Pgraph>An example: A arithmetical problem (for example, a task in which Bayes&#8217;s theorem has to be applied in order to solve the task correctly) can be of varying complexity. For example, there are Bayesian tasks as 1-test cases <TextLink reference="7"></TextLink> (e.g., breast cancer is diagnosed by mammography) and 2-test cases <TextLink reference="7"></TextLink> (e.g., breast cancer is diagnosed by mammography and ultrasound). 2-test cases are more complex than 1-test tasks, because they consist of more levels and are thus more complex, they have more features. The difficulty is not synonymous per se with complexity. Bayesian tasks, whether they are 1-test cases or 2-test cases, are easy to solve for math students - they are not difficult for this group of people. For medical students, on the other hand, Bayesian tasks can hardly be solved - regardless of whether they are 1-test or 2-test cases. The tasks are difficult for medical students and easy for math students. The task itself has a certain degree of complexity (1-test-case&#61;simple&#47;non-complex and 2-test-cases&#61;complex), the probability of solution and thus the difficulty depends on the recipient <TextLink reference="8"></TextLink>. The pre-knowledge of the person trying to solve the task influences the level of difficulty much more than the complexity does.</Pgraph><Pgraph><Mark2>Complexity</Mark2> relates solely to features of the clinical case and is independent of the person diagnosing. It can be defined as the complexity of the clinical problem. Difficulty, on the other hand, can be understood as a dynamic concept, since it depends directly on the person diagnosing: There are several factors that contribute to the difficulty: In addition to the prior knowledge and experience of a person <TextLink reference="9"></TextLink>, for example, a case with the diagnosis Endocarditis is probably difficult for a medical student in the first clinical year, but possibly very easy for a cardiologist with several years of working experience &#8211; also the motivation, the nature of the day and ultimately pure coincidence is crucial. If the doctor has recently seen a similar case, the clinical problem may be very easy for him to solve <TextLink reference="9"></TextLink>. Comparative studies of different rating systems are already available <TextLink reference="10"></TextLink> to assess the difficulty of the case.</Pgraph><Pgraph>Causes that can contribute to the complexity of a patient&#39;s therapy have been studied in several studies <TextLink reference="11"></TextLink>. The general increase in the complexity of medical roles in increasingly complex care systems has also been discussed extensively <TextLink reference="12"></TextLink>. However, there is no applied system to determine the complexity of a case-based learning scenario. This raises the problem that study results due to different or not clearly-defined case complexity are comparable only with restrictions; and also the implementation of scientific findings in teaching practice is difficult. Even a differentiated use of cases of different degrees of complexity for different levels of expertise cannot be done without a quantification of the complexity.</Pgraph><Pgraph>The purpose of this article is to answer the following question: How can the degree of complexity of a clinical case be determined in a practicable and standardized way for simulation environments&#63;</Pgraph></TextBlock>
    <TextBlock language="de" linked="yes" name="Einf&#252;hrung">
      <MainHeadline>Einf&#252;hrung</MainHeadline><Pgraph><Mark1>Diagnostizieren</Mark1> kann als das zielgerichtete Sammeln und Bewerten von Informationen zum Zwecke der Unsicherheitsreduktion verstanden werden, um eine klinische Entscheidung zu treffen. In der medizinischen Ausbildung k&#246;nnen Studierende durch <Mark1>Simulationen</Mark1> an diese Aufgabe herangef&#252;hrt werden: Fallbasiertes Lernen ist schon seit langem ein wichtiger Bestandteil der medizinischen Ausbildung <TextLink reference="1"></TextLink>. In den meisten Curricula und in vielen Pr&#252;fungssituation ist die Arbeit an und mit klinischen F&#228;llen ein elementarer Bestandteil. Klinische F&#228;lle werden auch in der medizindidaktischen Forschung zum Training und zur Messung der Diagnosekompetenz eingesetzt. In Studien werden h&#228;ufig standardisierte F&#228;lle in Form virtueller Patienten <TextLink reference="2"></TextLink>, <TextLink reference="3"></TextLink> genutzt. Zur Verbesserung der Diagnosekompetenz werden Lernende beim fallbasierten Lernen mit virtuellen Patientenf&#228;llen durch verschiedene Aufforderungen und Hilfen (sogenannte Scaffolds) unterst&#252;tzt. Beispiele f&#252;r Scaffoldings sind die strukturierte Reflexion <TextLink reference="4"></TextLink>, Feedback in unterschiedlichen Formen <TextLink reference="5"></TextLink> oder Repr&#228;sentationsprompts <TextLink reference="6"></TextLink>. Die Ergebnisse dieser Studien in Bezug auf die Effektivit&#228;t hinsichtlich der Diagnosekompetenz der verschiedenen Interventionsma&#223;nahmen sind allerdings widerspr&#252;chlich. Ein Grund daf&#252;r k&#246;nnte sein, dass der Komplexit&#228;tsgrad der verwendeten F&#228;lle variiert und daher die genannten Unterst&#252;tzungsma&#223;nahmen unterschiedlich wirksam sind. </Pgraph><Pgraph>Der Begriff <Mark1>komplex</Mark1> (aus dem Lateinischen hergeleitet von complexus, Part.adj. zu lat. complecti &#8222;umschlingen, umfassen&#8220;) bedeutet umfassend, vielf&#228;ltig, verflochten, vielschichtig &#91;<Hyperlink href="https:&#47;&#47;www.dwds.de&#47;wb&#47;komplex">https:&#47;&#47;www.dwds.de&#47;wb&#47;komplex</Hyperlink>, zuletzt aufgerufen am 18.11.2018&#93;. Komplexit&#228;t bezieht sich auf Systeme mit vielen Komponenten, die auf verschiedene Weisen miteinander interagieren k&#246;nnen. Im allgemeinen Sprachgebrauch wird Komplexit&#228;t oft mit Schwierigkeit gleichgesetzt. Im diagnostischen Kontext schlagen wir allerdings eine saubere Trennung der beiden Begrifflichkeiten vor (siehe Abbildung 1 <ImgLink imgNo="1" imgType="figure"/>): </Pgraph><Pgraph>Ein Beispiel: Eine Rechenaufgabe (Beispielsweise eine Aufgabe, in welcher der Satz von Bayes angewendet werden muss, um zum richtigen Ergebnis zu gelangen) kann unterschiedlich komplex sein. So gibt es Bayes-Aufgaben als 1-Test-F&#228;lle <TextLink reference="7"></TextLink> (z.B. Brustkrebs wird mithilfe einer Mammographie diagnostiziert) und als 2-Test-F&#228;lle <TextLink reference="7"></TextLink> (z.B. Brustkrebs wird mithilfe einer Mammographie und einer Ultraschalluntersuchung diagnostiziert). 2-Test-F&#228;lle sind komplexer als 1-Test-Aufgaben, da sie aus mehr Ebenen bestehen und damit vielschichtiger sind, also mehr Merkmale aufweisen. Die Schwierigkeit ist aber nicht per se gleichbedeutend mit der Komplexit&#228;t. So sind Bayes-Aufgaben, egal ob sie 1-Test-F&#228;lle oder 2-Test-F&#228;lle sind, f&#252;r Mathematikstudenten problemlos zu l&#246;sen &#8211; sie sind f&#252;r diese Personengruppe <Mark2>nicht schwierig</Mark2>. F&#252;r Medizinstudierende hingegen sind Bayes-Aufgaben &#8211; und zwar egal, ob es sich um 1-Test oder 2-Test-F&#228;lle handelt, kaum zu l&#246;sen. Die Aufgaben sind <Mark2>schwierig</Mark2> f&#252;r Medizinstudierende und <Mark2>einfach</Mark2> f&#252;r Mathematikstudierende. Die Aufgabe an sich hat also einen bestimmten Komplexit&#228;tsgrad (1-Test-Fall &#61; simpel&#47;nicht-komplex und 2-Test-F&#228;lle &#61; komplex), die L&#246;sungswahrscheinlichkeit und damit die Schwierigkeit ist allerdings rezipientenabh&#228;ngig <TextLink reference="8"></TextLink>. Das Vorwissen der bearbeitenden Person beeinflusst den Schwierigkeitsgrad viel mehr als die Komplexit&#228;t. </Pgraph><Pgraph><Mark2>Komplexit&#228;t </Mark2>bezieht sich also alleine auf Merkmale des klinischen Falls und ist unabh&#228;ngig von der diagnostizierenden Person. Er kann als die Vielschichtigkeit des klinischen Problems definiert werden. Schwierigkeit hingegen kann als dynamischer Begriff verstanden werden, da er unmittelbar von der diagnostizierenden Person abh&#228;ngig ist: Es gibt verschiedene Faktoren, die  zur Schwierigkeit beitragen: Neben dem Vorwissen und der Vorerfahrung einer Person <TextLink reference="9"></TextLink> &#8211; so ist zum Beispiel ein Fall mit der Diagnose Endokarditis wahrscheinlich schwierig f&#252;r einen Medizinstudierenden im ersten klinischen Jahr, aber m&#246;glicherweise sehr einfach f&#252;r einen Kardiologen mit mehreren Jahren Berufserfahrung- ist auch die Motivation, die Tagesform und letztendlich auch der reine Zufall entscheidend. Hat der Arzt&#47;die &#196;rztin einen &#228;hnlichen Fall erst vor kurzem so gesehen, dann ist das klinische Problem eventuell sehr einfach f&#252;r ihn zu l&#246;sen <TextLink reference="9"></TextLink>. Zur Einsch&#228;tzung der Fallschwierigkeit liegen schon Vergleichsstudien verschiedener Ratingsysteme vor <TextLink reference="10"></TextLink>.</Pgraph><Pgraph>Ursachen, die zur Komplexit&#228;t der Therapie eines Patienten beitragen k&#246;nnen, wurden schon in einigen Studien untersucht <TextLink reference="11"></TextLink>. Auch die generelle Komplexit&#228;tszunahme der &#228;rztlichen Rollen in komplexer werdenden Versorgungssystemen wurde bereits umfassend diskutiert <TextLink reference="12"></TextLink>. Es gibt bisher aber kein angewandtes System zur Bestimmung der Komplexit&#228;t eines klinischen Falls im fallbasierten Lernen. Dadurch ergibt sich die Problematik, dass Studienergebnisse aufgrund unterschiedlicher bzw. nicht klar definierter Fallkomplexit&#228;t nur mit Einschr&#228;nkungen vergleichbar sind und auch die Umsetzung der wissenschaftlichen Erkenntnisse in die Lehrpraxis erschwert wird. Auch ein differenzierter Einsatz von F&#228;llen unterschiedlichen Komplexit&#228;tsgrades f&#252;r verschiedene Expertisestufen kann ohne eine Quantifizierung der Komplexit&#228;t nicht erfolgen. </Pgraph><Pgraph>In diesem Artikel soll daher die folgende Frage beantwortet werden: Wie kann der Komplexit&#228;tsgrad eines klinischen Falles f&#252;r Simulationsumgebungen praktikabel und standardisiert bestimmt werden&#63;</Pgraph></TextBlock>
    <TextBlock language="en" linked="yes" name="Methodology: Development of a literature-based model of complexity">
      <MainHeadline>Methodology: Development of a literature-based model of complexity</MainHeadline><Pgraph>In a fundamental study on decision-making in complex scenarios, Payne states two key features of a complex system: &#8220;The number of alternatives available&#8221; and &#8220;number of dimensions of information available&#8221; <TextLink reference="13"></TextLink>. This definition as well as a case complexity classification, form the basis of our complexity model. According to our research this is the only classification in medical education or medical teaching research literature directly related to the case complexity in medical education. Hennen <TextLink reference="14"></TextLink> suggests a score, consisting of five items: symptom complexity, complexity of clinical and technical findings, socioeconomic&#47;behavioral difficulties, diagnostic complexity and management complexity. The addition of these subcategories results in a degree of complexity for the entire clinical problem <TextLink reference="14"></TextLink>. Although the categorization itself includes many important aspects, the individual levels of each category are uni-dimensional and do not address the compounds of the individual elements named in the concept of complexity. Furthermore, this model <TextLink reference="14"></TextLink> assesses the complexity of the final diagnosis as well as the difficulties of appropriate therapy. These aspects play no role in the definition of diagnostics used here.</Pgraph><Pgraph>The model therefore had to be adapted to the definitions of clinical diagnostics with a partial reorganization of the categories to create a general model for clinical cases in simulated learning environments. In the following, a proposal with five categories is described, which adapts the model of Hennen to the mentioned requirements. Methodologically, this is a first content validation through group discussion with expert consensus as the basis for external validity studies. As a result, the Physical Examination and Technical Findings categories were separated, while the two categories of Diagnostic and Management Complexity were combined. The original three-level matrix model was adapted to Payne, taking into account the complexity definition.</Pgraph><Pgraph>The modified scoring consists of five different categories: </Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1.">anamnesis, </ListItem><ListItem level="1" levelPosition="2" numString="2.">physical examination, </ListItem><ListItem level="1" levelPosition="3" numString="3.">technical findings, </ListItem><ListItem level="1" levelPosition="4" numString="4.">psychosocial aspects, and </ListItem><ListItem level="1" levelPosition="5" numString="5.">secondary diagnoses (see table 1 <ImgLink imgNo="1" imgType="table"/>). </ListItem></OrderedList></Pgraph><Pgraph>A clinical case of a patient usually consists of the following three basic elements: the medical history, a physical examination and technical diagnostic findings (for example, a laboratory, an X-ray or an electrocardiogram (ECG)). In addition, in clinical cases, the psychosocial context, for example the behavior and social involvement of the patient, is important. The degree of complexity can be varied at all levels. A case increases in complexity as it contains distracting information which increases the number of connections between the individual elements of the system and thus makes further differential diagnoses more likely. If the number of components in the model increases <TextLink reference="13"></TextLink>, which in turn interact with each other, the complexity increases.</Pgraph><Pgraph>We propose a 5 &#43; 5 model: The more points, the more complex; that is the more complex the case. There are two steps in order to score the cases: First, it is assessed if the case contains information from all five categories. The exception here is the category diagnosis, this is not awarded a point per se but only for each further secondary diagnosis. A case gets a point in a category as soon as information is mentioned. In the second step, the linearity of the information is evaluated: If information is mentioned that is not linearly associated with the first information, then the case gets a second point. Under linear we understand that the information fits together, thus does not cause multi-layering. If a third (fourth, fifth) information level is added, which is not linked to the previous levels, then another point is assigned. The second step is independent of the previously mentioned categories, for example, a case could receive 3 additional points in the &#8220;history&#8221; category. Generally speaking, a new aspect does not generate a point if it does not repeal the linearity of a case, that is, the new information does not create a new level. On the other hand, more points are awarded when information is not linearly related to previous information but represent additional component that interacts with many other components of the system. These may be pathological &#47; conspicuous findings as well as normal findings.</Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1.">Linear (to each other and to a suitable diagnosis) information from the categories (see table 1 <ImgLink imgNo="1" imgType="table"/>)</ListItem><ListItem level="1" levelPosition="2" numString="2.">Further levels of complexity within the 5 categories, additional information that is not linearly linked to the first level and are not linked to each other (maximum 6 additional levels)</ListItem></OrderedList></Pgraph><Pgraph>A case can therefore contain a minimum of one point (only a history) and a maximum of 10 points. Although theoretically conceivable, it is unlikely that a case used for student teaching will contain more than six additional levels of information relevant to the clinical decision-making situation in the above definition of diagnosing. In addition, it can be assumed that, even in real patient cases, the degree of complexity does not increase infinitely.</Pgraph><SubHeadline2>Exemplary scoring of a clinical case</SubHeadline2><Pgraph>In the following, the scoring of the complexity will be shown on the basis of an example case of pneumothorax. The solution accuracy of this case was 45&#37; in a study with 150 medical students in the clinical phase of studies (see attachment 1 <AttachmentLink attachmentNo="1"/>).</Pgraph></TextBlock>
    <TextBlock language="de" linked="yes" name="Methodik: Entwicklung eines literaturbasierten Modells zur Komplexit&#228;t">
      <MainHeadline>Methodik: Entwicklung eines literaturbasierten Modells zur Komplexit&#228;t</MainHeadline><Pgraph>In einer Grundlagenstudie zur Entscheidungsfindung in komplexen Szenarien nennt Payne zwei wesentliche Merkmale eines komplexen Systems: &#8222;The number of alternatives available&#8220; sowie &#8222;number of dimensions of information available&#8220; <TextLink reference="13"></TextLink>. Diese Definition sowie eine Klassifikation zur Fallkomplexit&#228;t, welche nach unseren Recherchen bisher die einzige Klassifikation in der medizindidaktischen oder medizinischen Lehrforschungsliteratur ist, die sich direkt auf die Fallkomplexit&#228;t in der &#228;rztlichen Ausbildung bezieht, sind Grundlage unseres Komplexit&#228;tsmodells: Hennen <TextLink reference="14"></TextLink> schl&#228;gt einen Score vor, der aus f&#252;nf Items besteht: Symptomkomplexit&#228;t, Komplexit&#228;t der klinischen und technischen Befunde, sozio&#246;konomische&#47;verhaltensspezifische Schwierigkeiten, Diagnosekomplexit&#228;t sowie Managementkomplexit&#228;t. Aus einer Addition dieser Unterkategorien ergibt sich ein Komplexit&#228;tsgrad f&#252;r das gesamte klinische Problem <TextLink reference="14"></TextLink>. Obwohl die Kategorisierung an sich viele wichtige Aspekte umfasst, sind die einzelnen Stufen jeder Kategorie eindimensional und gehen nicht auf die im Komplexit&#228;tsbegriff benannten Verbindungen der Einzelelemente ein. Weiterhin bewertet dieses Modell <TextLink reference="14"></TextLink> die Komplexit&#228;t der finalen Diagnose sowie die Schwierigkeiten einer angemessenen Therapie. Diese Aspekte spielen bei der hier angewandten Definition des Diagnostizierens keine Rolle. </Pgraph><Pgraph>Das Modell musste deshalb an die Begriffsbestimmungen des klinischen Diagnostizierens angepasst werden mit einer teilweisen neuen Einteilung der Kategorien, sodass ein allgemein anwendbares Modell f&#252;r klinische F&#228;lle in simulierten Lernumgebungen entsteht.  Im Folgenden wird ein Vorschlag mit f&#252;nf Kategorien beschrieben, der das Modell von Hennen an die genannten Erfordernisse anpasst. Methodisch handelt es sich dabei um eine erste Inhaltsvalidierung durch Gruppendiskussion mit Expertenkonsens als Grundlage f&#252;r Studien zur externen Validit&#228;t. Als Ergebnis wurden die Kategorien K&#246;rperliche Untersuchung und Technische Befunde getrennt, die beiden Kategorien Diagnose- und Managementkomplexit&#228;t hingegen zusammengefasst. Das urspr&#252;nglich dreistufige Matrix-Modell wurde unter Ber&#252;cksichtigung der Komplexit&#228;tsdefinition nach Payne angepasst. </Pgraph><Pgraph>Das <Mark1>modifizierte Scoring besteht aus f&#252;nf verschiedenen Kategorien</Mark1>: </Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1.">Anamnese, </ListItem><ListItem level="1" levelPosition="2" numString="2.">K&#246;rperliche Untersuchung, </ListItem><ListItem level="1" levelPosition="3" numString="3.">Technische Befunde, </ListItem><ListItem level="1" levelPosition="4" numString="4.">psychosoziale Aspekte und </ListItem><ListItem level="1" levelPosition="5" numString="5.">Nebendiagnosen (siehe Tabelle 1 <ImgLink imgNo="1" imgType="table"/>).  </ListItem></OrderedList></Pgraph><Pgraph>Ein klinischer Patientenfall besteht in der Regel aus den folgenden drei Grundelementen: der Anamnese, einer k&#246;rperlichen Untersuchung sowie technischer diagnostischer Befunde (beispielweise einem Labor, einem R&#246;ntgenbild oder einem Elektrokardiogramm (EKG) etc.). Zudem ist bei klinischen F&#228;llen der psychosoziale Kontext, also das Verhalten und die soziale Einbindung des Patienten, wichtig. Nun kann der Komplexit&#228;tsgrad auf allen Ebenen variiert werden. Ein Fall nimmt an Komplexit&#228;t zu, sobald er distrahierende Informationen enth&#228;lt, welche die Anzahl an Verbindungen zwischen den Einzelelementen des Systems erh&#246;ht und damit weitere Differentialdiagnosen wahrscheinlicher macht. Erh&#246;ht sich die Anzahl der Komponenten im Modell (&#8222;number of dimensions of information available&#8220;) <TextLink reference="13"></TextLink>, die dann wiederum miteinander interagieren, erh&#246;ht sich die Komplexit&#228;t.</Pgraph><Pgraph>Wir schlagen ein <Mark1>5&#43;5-Modell</Mark1> vor: Je mehr Punkte, desto komplexer, also vielschichtiger ist der Fall. Das Scoring der F&#228;lle umfasst zwei Schritte: Zuerst wird bewertet, ob der Fall Informationen aus allen f&#252;nf Kategorien erh&#228;lt. Ausnahme ist hier die Kategorie Diagnose, hier wird nicht per se ein Punkt vergeben, sondern nur f&#252;r jede -neben der Hauptdiagnose- weitere Nebendiagnose. Ein Fall erh&#228;lt einen Punkt in einer Kategorie, sobald eine Information dazu genannt wird. Im zweiten Schritt wird die Linearit&#228;t der Informationen bewertet: Falls eine Information genannt wird, die nicht linear mit der ersten Information verkn&#252;pft ist, dann erh&#228;lt der Fall einen zweiten Punkt. Unter linear verstehen wir, dass die Information in der gleichen Fallebene zusammenpassen, also keine Mehr-&#47;Vielschichtigkeit hervorrufen. Kommt nun eine dritte (vierte, f&#252;nfte) Informationsebene hinzu, die jeweils nicht mit den vorherigen Ebenen verkn&#252;pft ist, dann wird wiederum ein Punkt vergeben. Der zweite Schritt ist unabh&#228;ngig von den vorher genannten Kategorien, so k&#246;nnte beispielsweise ein Fall 3 zus&#228;tzliche Punkte in der Kategorie &#8222;Anamnese&#8220; erhalten. Allgemein gesagt: Ein neuer Aspekt generiert keinen Punkt, wenn er die Linearit&#228;t eines Falls nicht aufhebt, also durch die neue Information keine neue Fallebene geschaffen wird. Mehr Punkte werden hingegen vergeben, wenn eine Information nicht linear mit vorherigen Informationen verkn&#252;pft ist, sondern eine zus&#228;tzliche Komponente darstellt, die mit vielen anderen Komponenten des Systems interagiert. Hierbei kann es sich sowohl um pathologische&#47;auff&#228;llige Befunde als auch um Normalbefunde handeln. </Pgraph><Pgraph>Ein Fall kann daher minimal einen Punkt enthalten (nur eine Anamnese) und maximal 10 Punkte. Obwohl theoretisch denkbar, ist es unwahrscheinlich, dass ein Fall, der zur studentischen Lehre eingesetzt wird, mehr als sechs zus&#228;tzliche Informationsebenen enth&#228;lt, die f&#252;r die klinische Entscheidungssituation in oben genannter Definition des Diagnostizierens relevant sind. Zudem ist davon auszugehen, dass auch bei realen Patientenf&#228;llen der Komplexit&#228;tsgrad nicht unendlich steigt.   </Pgraph><SubHeadline2>Beispielhaftes Scoring eines klinischen Falls</SubHeadline2><Pgraph>Im Folgenden soll anhand eines Beispielfalls Pneumothorax das Scoring der Komplexit&#228;t gezeigt werden. Die L&#246;sungsrichtigkeit dieses Falls lag in einer Studie mit 150 Medizinstudierenden im klinischen Studienabschnitt bei 45&#37; (siehe Anhang 1 <AttachmentLink attachmentNo="1"/>). </Pgraph></TextBlock>
    <TextBlock language="en" linked="yes" name="Discussion and outlook">
      <MainHeadline>Discussion and outlook</MainHeadline><SubHeadline2>Target of the scoring</SubHeadline2><Pgraph>The degree of complexity of a clinical case is fundamental for case developers, as clinical cases can be deliberately varied in complexity to suit a particular target audience. With increasing levels of education, students should be confronted with increasingly complex cases and diminishing supportive measures. For all studies in which clinical cases are used, it should be a requirement that the degree of complexity of the case be described in a standardized way. The aim should be that results from intervention studies are comparable across research groups.</Pgraph><SubHeadline2>Complexity and difficulty</SubHeadline2><Pgraph>Further studies should investigate the impact of complexity on case difficulty, with accuracy being described not only by the accuracy of the diagnostic result but also by other dependent variables such as diagnostic efficiency or types of errors <TextLink reference="6"></TextLink>, <TextLink reference="15"></TextLink>. Diagnosing is difficult. Every tenth diagnosis is a misdiagnosis <TextLink reference="16"></TextLink>, <TextLink reference="17"></TextLink>. In general, there are two sources of error: lack of knowledge and lack of information processing. In particular the degree of complexity could cause errors due to incorrect information processing. This is especially important if in one case several differential diagnoses are conceivable or the patient has several clinical problems that need to be weighted correctly. To what extent the degree of complexity of a clinical case contributes to the difficulty is unclear.</Pgraph><SubHeadline2>Outlook: validation of the model and modulation of complexity</SubHeadline2><Pgraph>The aim of this work and of the working group is to develop an instrument for assessing the case complexity in order to be able to correctly describe this important case characteristic and to be able to use corresponding cases specifically for teaching and research. Whether the proposed scoring system can reliably measure the complexity of clinical cases for simulation-based learning environments must be verified in validation studies. According to Kane&#39;s validation tool by Cook et. al. this commentary describes the beginning of a validation process (&#8220;articulating the claims and assumptions associated with the proposed decision (the interpretation&#47;use argument)&#8221;) <TextLink reference="18"></TextLink>. Evidence must now be generated in the further course, because: &#8220;Just as one can never prove a hypothesis, validity can never be proven&#8221;; <TextLink reference="19"></TextLink>. The generalizability and practicability of the scoring system will be reviewed in a multistage expert review using the Angoff method <TextLink reference="20"></TextLink>.</Pgraph><Pgraph>The goal would be to divide the now 10-part scale into sections: less complex, moderately complex, very complex. In this context, it should also be examined whether the difficulty is influenced by the complexity modulation of the case given the same level of expertise. It is also unclear whether there are other aspects that are included in the degree of complexity but are not yet covered by the model. Whether and to what extent the model can also be applied to other topics and professional groups or in general to problem-solving tasks is another important aspect of the future validation study.</Pgraph><Pgraph>We would be grateful for feedback from other researchers on the practicability and validity of our assessment model.</Pgraph></TextBlock>
    <TextBlock language="de" linked="yes" name="Diskussion und Ausblick">
      <MainHeadline>Diskussion und Ausblick</MainHeadline><SubHeadline2>Ziel des Scorings</SubHeadline2><Pgraph>Der Komplexit&#228;tsgrad eines klinischen Falls ist f&#252;r Fallentwickler elementar, da klinische F&#228;lle bewusst in ihrer Komplexit&#228;t variiert werden k&#246;nnen, um sie f&#252;r eine bestimmte Zielgruppe passend zu gestalten. Mit zunehmendem Ausbildungsgrad sollten Studierende mit immer komplexeren F&#228;llen und abnehmenden Unterst&#252;tzungsma&#223;nahmen konfrontiert werden. F&#252;r alle Studien, in denen klinische F&#228;lle verwendet werden, w&#228;re zu fordern: Der Komplexit&#228;tsgrad des Falls sollte in einer standardisierten Weise beschrieben werden. Ziel sollte sein, dass Ergebnisse von Interventionsstudien Forschergruppen-&#252;bergreifend vergleichbar sind. </Pgraph><SubHeadline2>Komplexit&#228;t und Schwierigkeit</SubHeadline2><Pgraph>In weiteren Studien sollte der Einfluss der Komplexit&#228;t auf die Fallschwierigkeit genauer untersucht werden, wobei die Richtigkeit nicht nur durch Genauigkeit des Diagnoseergebnisses, sondern auch durch andere abh&#228;ngige Variablen wie Diagnoseeffizienz oder Fehlerarten beschrieben werden sollte <TextLink reference="6"></TextLink>, <TextLink reference="15"></TextLink>. Diagnostizieren ist schwierig. Jede zehnte Diagnose ist eine Fehldiagnose <TextLink reference="16"></TextLink>, <TextLink reference="17"></TextLink>. Generell gibt es zwei Fehlerquellen: mangelndes Wissen und mangelnde Informationsverarbeitung. Der Komplexit&#228;tsgrad k&#246;nnte insbesondere Fehler aufgrund von falscher Informationsverarbeitung bedingen. Dies ist insbesondere wichtig, wenn in einem Fall mehrere Differentialdiagnosen denkbar sind oder der Patient verschiedene klinische Probleme hat, die korrekt gewichtet werden m&#252;ssen. Inwiefern der Komplexit&#228;tsgrad eines klinischen Falls zur Schwierigkeit beitr&#228;gt, ist unklar. </Pgraph><SubHeadline2>Ausblick: Validierung des Modells und Modulation der Komplexit&#228;t</SubHeadline2><Pgraph>Ziel dieser Arbeit und der Arbeitsgruppe ist es, ein Instrument zur Bewertung der Fallkomplexit&#228;t zu entwickeln, um diese wichtige Falleigenschaft korrekt beschreiben und entsprechende F&#228;lle gezielt f&#252;r Lehre und Forschung einsetzen zu k&#246;nnen. Ob das vorgeschlagene Scoring-System die Komplexit&#228;t klinischer F&#228;lle f&#252;r simulationsbasierte Lernumgebungen zuverl&#228;ssig messen kann, muss in Validierungsstudien &#252;berpr&#252;ft werden. Laut dem an Kane angelehnten Validierungsinstrument von Cook et. al. beschreibt dieser Kommentar den Beginn eines Validierungsprozess (&#8222;articulating the claims and assumptions associated with the proposed decision (the interpretation&#47;use argument)&#8220;) <TextLink reference="18"></TextLink>. Im weiteren Verlauf muss nun Evidenz generiert werden, denn es gilt: &#8222;Just as one can never prove a hypothesis, validity can never be proven; but evidence can, as it accumulates, support or refute the validity argument.&#8221; <TextLink reference="19"></TextLink>. Generalisierbarkeit und Praktikabilit&#228;t des Scoringsystems sollen mit einem mehrstufigen Experten-Review mit Hilfe der Angoff-Methode <TextLink reference="20"></TextLink> &#252;berpr&#252;ft werden. </Pgraph><Pgraph>Ziel w&#228;re es, die jetzt 10-teilige Skala in Abschnitte zu gliedern: wenig komplex, m&#228;&#223;ig komplex, sehr komplex. In diesem Zusammenhang ist auch zu pr&#252;fen, ob bei gleichbleibender Expertisestufe durch Komplexit&#228;tsmodulation des Falles die Schwierigkeit beeinflusst wird. Offen bleibt au&#223;erdem, ob es weitere Aspekte gibt, die in den Komplexit&#228;tsgrad einflie&#223;en, von dem Modell allerdings noch nicht erfasst werden. Ob und inwiefern das Modell auch auf andere Themenfelder und Berufsgruppen, beziehungsweise generell auf Probleml&#246;seaufgaben &#252;bertragbar ist, ist ein weiterer wesentlicher Aspekt f&#252;r zuk&#252;nftige Validierungsstudie.  </Pgraph><Pgraph>F&#252;r R&#252;ckmeldungen anderer Forscher zur Praktikabilit&#228;t und Validit&#228;t unseres Bewertungsmodells w&#228;ren wir dankbar. </Pgraph></TextBlock>
    <TextBlock language="en" linked="yes" name="Competing interests">
      <MainHeadline>Competing interests</MainHeadline><Pgraph>The authors declare that they have no competing interests. </Pgraph></TextBlock>
    <TextBlock language="de" linked="yes" name="Interessenkonflikt">
      <MainHeadline>Interessenkonflikt</MainHeadline><Pgraph>Die Autoren erkl&#228;ren, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.</Pgraph></TextBlock>
    <References linked="yes">
      <Reference refNo="1">
        <RefAuthor>Cabot RC</RefAuthor>
        <RefTitle></RefTitle>
        <RefYear>1906</RefYear>
        <RefBookTitle>Case teaching in medicine</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>Cabot RC. Case teaching in medicine. Lexington: DC Heath &#38; Company; 1906.</RefTotal>
      </Reference>
      <Reference refNo="2">
        <RefAuthor>Huwendiek S</RefAuthor>
        <RefAuthor>De leng BA</RefAuthor>
        <RefAuthor>Zary N</RefAuthor>
        <RefAuthor>Fischer MR</RefAuthor>
        <RefAuthor>Ruiz JG</RefAuthor>
        <RefAuthor>Ellaway R</RefAuthor>
        <RefTitle>Towards a typology of virtual patients</RefTitle>
        <RefYear>2009</RefYear>
        <RefJournal>Med Teach</RefJournal>
        <RefPage>743-748</RefPage>
        <RefTotal>Huwendiek S, De leng BA, Zary N, Fischer MR, Ruiz JG, Ellaway R. Towards a typology of virtual patients. Med Teach. 2009;31(8):743-748. DOI: 10.1080&#47;01421590903124708</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1080&#47;01421590903124708</RefLink>
      </Reference>
      <Reference refNo="3">
        <RefAuthor>Kononowicz AA</RefAuthor>
        <RefAuthor>Zary N</RefAuthor>
        <RefAuthor>Edelbring S</RefAuthor>
        <RefAuthor>Corral J</RefAuthor>
        <RefAuthor>Hege I</RefAuthor>
        <RefTitle>Virtual patients--what are we talking about&#63; A framework to classify the meanings of the term in healthcare education</RefTitle>
        <RefYear>2015</RefYear>
        <RefJournal>BMC Med Educ</RefJournal>
        <RefPage>11</RefPage>
        <RefTotal>Kononowicz AA, Zary N, Edelbring S, Corral J, Hege I. Virtual patients--what are we talking about&#63; A framework to classify the meanings of the term in healthcare education. BMC Med Educ. 2015;15:11. DOI: 10.1186&#47;s12909-015-0296-3</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1186&#47;s12909-015-0296-3</RefLink>
      </Reference>
      <Reference refNo="4">
        <RefAuthor>Mamede S</RefAuthor>
        <RefAuthor>Van Gog T</RefAuthor>
        <RefAuthor>Sampaio AM</RefAuthor>
        <RefAuthor>De Faria RMD</RefAuthor>
        <RefAuthor>Maria JP</RefAuthor>
        <RefAuthor>Schmidt HG</RefAuthor>
        <RefTitle>How can students&#39; diagnostic competence benefit most from practice with clinical cases&#63; The effects of structured reflection on future diagnosis of the same and novel diseases</RefTitle>
        <RefYear>2014</RefYear>
        <RefJournal>Acad Med</RefJournal>
        <RefPage>121-127</RefPage>
        <RefTotal>Mamede S, Van Gog T, Sampaio AM, De Faria RMD, Maria JP, Schmidt HG. How can students&#39; diagnostic competence benefit most from practice with clinical cases&#63; The effects of structured reflection on future diagnosis of the same and novel diseases. Acad Med. 2014;89(1):121-127. DOI: 10.1097&#47;ACM.0000000000000076</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1097&#47;ACM.0000000000000076</RefLink>
      </Reference>
      <Reference refNo="5">
        <RefAuthor>Kopp V</RefAuthor>
        <RefAuthor>Stark R</RefAuthor>
        <RefAuthor>Fischer MR</RefAuthor>
        <RefTitle>Fostering diagnostic knowledge through computer-supported, case-based worked examples: effects of erroneous examples and feedback</RefTitle>
        <RefYear>2008</RefYear>
        <RefJournal>Med Educ</RefJournal>
        <RefPage>823-829</RefPage>
        <RefTotal>Kopp V, Stark R, Fischer MR. Fostering diagnostic knowledge through computer-supported, case-based worked examples: effects of erroneous examples and feedback. Med Educ. 2008;42(8):823-829. DOI: 10.1111&#47;j.1365-2923.2008.03122.x</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1111&#47;j.1365-2923.2008.03122.x</RefLink>
      </Reference>
      <Reference refNo="6">
        <RefAuthor>Braun LT</RefAuthor>
        <RefAuthor>Zottmann JM</RefAuthor>
        <RefAuthor>Adolf C</RefAuthor>
        <RefAuthor>Lottspeich C</RefAuthor>
        <RefAuthor>Then C</RefAuthor>
        <RefAuthor>Wirth S</RefAuthor>
        <RefAuthor>Fischer MR</RefAuthor>
        <RefAuthor>Schmidmaier R</RefAuthor>
        <RefTitle>Representation scaffolds improve diagnostic efficiency in medical students</RefTitle>
        <RefYear>2017</RefYear>
        <RefJournal>Med Educ</RefJournal>
        <RefPage>1118-1126</RefPage>
        <RefTotal>Braun LT, Zottmann JM, Adolf C, Lottspeich C, Then C, Wirth S, Fischer MR, Schmidmaier R. Representation scaffolds improve diagnostic efficiency in medical students. Med Educ. 2017;51(11):1118-1126. DOI: 10.1111&#47;medu.13355</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1111&#47;medu.13355</RefLink>
      </Reference>
      <Reference refNo="7">
        <RefAuthor>McDowell M</RefAuthor>
        <RefAuthor>Jacobs P</RefAuthor>
        <RefTitle>Meta-analysis of the effect of natural frequencies on Bayesian reasoning</RefTitle>
        <RefYear>2017</RefYear>
        <RefJournal>Psychol Bull</RefJournal>
        <RefPage>1273-1312</RefPage>
        <RefTotal>McDowell M, Jacobs P. Meta-analysis of the effect of natural frequencies on Bayesian reasoning. Psychol Bull. 2017;143(12):1273-1312. DOI: 10.1037&#47;bul0000126</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1037&#47;bul0000126</RefLink>
      </Reference>
      <Reference refNo="8">
        <RefAuthor>Binder K</RefAuthor>
        <RefAuthor>Krauss S</RefAuthor>
        <RefAuthor>Bruckmaier G</RefAuthor>
        <RefAuthor>Marienhagen J</RefAuthor>
        <RefTitle>Visualizing the Bayesian 2-test case: The effect of tree diagrams on medical decision making</RefTitle>
        <RefYear>2018</RefYear>
        <RefJournal>PloS One</RefJournal>
        <RefPage>e0195029</RefPage>
        <RefTotal>Binder K, Krauss S, Bruckmaier G, Marienhagen J. Visualizing the Bayesian 2-test case: The effect of tree diagrams on medical decision making. PloS One. 2018;13(3):e0195029. DOI: 10.1371&#47;journal.pone.0195029</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1371&#47;journal.pone.0195029</RefLink>
      </Reference>
      <Reference refNo="9">
        <RefAuthor>Elstein AS</RefAuthor>
        <RefAuthor>Shulman LS</RefAuthor>
        <RefAuthor>Sprafka SA</RefAuthor>
        <RefTitle></RefTitle>
        <RefYear>1978</RefYear>
        <RefBookTitle>Medical problem solving an analysis of clinical reasoning</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>Elstein AS, Shulman LS, Sprafka SA. Medical problem solving an analysis of clinical reasoning. Cambridge (Mass): Havard University Press; 1978. DOI: 10.4159&#47;harvard.9780674189089</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.4159&#47;harvard.9780674189089</RefLink>
      </Reference>
      <Reference refNo="10">
        <RefAuthor>Koskinen H</RefAuthor>
        <RefTitle>Evaluation of the level of difficulty of patient cases for veterinary problem-solving examination: a preliminary comparison of three taxonomies of learning</RefTitle>
        <RefYear>2007</RefYear>
        <RefJournal>J Vet Med Educ</RefJournal>
        <RefPage>106-111</RefPage>
        <RefTotal>Koskinen H. Evaluation of the level of difficulty of patient cases for veterinary problem-solving examination: a preliminary comparison of three taxonomies of learning. J Vet Med Educ. 2007;34(2):106-111. DOI: 10.3138&#47;jvme.34.2.106</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.3138&#47;jvme.34.2.106</RefLink>
      </Reference>
      <Reference refNo="11">
        <RefAuthor>Safford MM</RefAuthor>
        <RefAuthor>Allison JJ</RefAuthor>
        <RefAuthor>Kiefe CI</RefAuthor>
        <RefTitle>Patient complexity: more than comorbidity. The vector model of complexity</RefTitle>
        <RefYear>2007</RefYear>
        <RefJournal>J Gen Intern Med</RefJournal>
        <RefPage>382-390</RefPage>
        <RefTotal>Safford MM, Allison JJ, Kiefe CI. Patient complexity: more than comorbidity. The vector model of complexity. J Gen Intern Med. 2007;223 Suppl 3:382-390. DOI: 10.1007&#47;s11606-007-0307-0</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1007&#47;s11606-007-0307-0</RefLink>
      </Reference>
      <Reference refNo="12">
        <RefAuthor>Plsek PE</RefAuthor>
        <RefAuthor>Greenhalgh T</RefAuthor>
        <RefTitle>Complexity science: The challenge of complexity in health care</RefTitle>
        <RefYear>2001</RefYear>
        <RefJournal>BMJ</RefJournal>
        <RefPage>625</RefPage>
        <RefTotal>Plsek PE, Greenhalgh T. Complexity science: The challenge of complexity in health care. BMJ. 2001;323(7313):625. DOI: 10.1136&#47;bmj.323.7313.625</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1136&#47;bmj.323.7313.625</RefLink>
      </Reference>
      <Reference refNo="13">
        <RefAuthor>Payne JW</RefAuthor>
        <RefTitle>Task complexity and contingent processing in decision making: An information search and protocol analysis</RefTitle>
        <RefYear>1976</RefYear>
        <RefJournal>Organ Behav Human Perform</RefJournal>
        <RefPage>366-387</RefPage>
        <RefTotal>Payne JW. Task complexity and contingent processing in decision making: An information search and protocol analysis. Organ Behav Human Perform. 1976;16(2):366-387. DOI: 10.1016&#47;0030-5073(76)90022-2</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1016&#47;0030-5073(76)90022-2</RefLink>
      </Reference>
      <Reference refNo="14">
        <RefAuthor>Hennen BK</RefAuthor>
        <RefTitle>Measuring the complexity of clinical problems</RefTitle>
        <RefYear>1984</RefYear>
        <RefJournal>Acad Med</RefJournal>
        <RefPage>487-493</RefPage>
        <RefTotal>Hennen BK. Measuring the complexity of clinical problems. Acad Med. 1984;59(6):487-493. DOI: 10.1097&#47;00001888-198406000-00005</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1097&#47;00001888-198406000-00005</RefLink>
      </Reference>
      <Reference refNo="15">
        <RefAuthor>Braun LT</RefAuthor>
        <RefAuthor>Zwaan L</RefAuthor>
        <RefAuthor>Kiesewetter J</RefAuthor>
        <RefAuthor>Fischer MR</RefAuthor>
        <RefAuthor>Schmidmaier R</RefAuthor>
        <RefTitle>Diagnostic errors by medical students: results of a prospective qualitative study</RefTitle>
        <RefYear>2017</RefYear>
        <RefJournal>BMC Med Educ</RefJournal>
        <RefPage>191</RefPage>
        <RefTotal>Braun LT, Zwaan L, Kiesewetter J, Fischer MR, Schmidmaier R. Diagnostic errors by medical students: results of a prospective qualitative study. BMC Med Educ. 2017;17(1):191. DOI: 10.1186&#47;s12909-017-1044-7</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1186&#47;s12909-017-1044-7</RefLink>
      </Reference>
      <Reference refNo="16">
        <RefAuthor>Graber ML</RefAuthor>
        <RefAuthor>Carlson B</RefAuthor>
        <RefTitle>Diagnostic error: the hidden epidemic</RefTitle>
        <RefYear>2011</RefYear>
        <RefJournal>Physician Exec</RefJournal>
        <RefPage>12-14, 16, 18-19</RefPage>
        <RefTotal>Graber ML, Carlson B. Diagnostic error: the hidden epidemic. Physician Exec. 2011;37(6):12-14, 16, 18-19.</RefTotal>
      </Reference>
      <Reference refNo="17">
        <RefAuthor>Graber ML</RefAuthor>
        <RefTitle>The incidence of diagnostic error in medicine</RefTitle>
        <RefYear>2013:22</RefYear>
        <RefJournal>BMJ Qual Saf</RefJournal>
        <RefPage>ii21-ii27</RefPage>
        <RefTotal>Graber ML. The incidence of diagnostic error in medicine. BMJ Qual Saf. 2013:22 Suppl 2:ii21-ii27. DOI: 10.1136&#47;bmjqs-2012-001615</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1136&#47;bmjqs-2012-001615</RefLink>
      </Reference>
      <Reference refNo="18">
        <RefAuthor>Cook DA</RefAuthor>
        <RefAuthor>Brydges R</RefAuthor>
        <RefAuthor>Ginsburg S</RefAuthor>
        <RefAuthor>Hatala R</RefAuthor>
        <RefTitle>A contemporary approach to validity arguments: a practical guide to Kane&#39;s framework</RefTitle>
        <RefYear>2015</RefYear>
        <RefJournal>Med Educ</RefJournal>
        <RefPage>560-575</RefPage>
        <RefTotal>Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporary approach to validity arguments: a practical guide to Kane&#39;s framework. Med Educ. 2015;49(6):560-575. DOI: 10.1111&#47;medu.12678</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1111&#47;medu.12678</RefLink>
      </Reference>
      <Reference refNo="19">
        <RefAuthor>Cook DA</RefAuthor>
        <RefAuthor>Hatala R</RefAuthor>
        <RefTitle>Validation of educational assessments: a primer for simulation and beyond</RefTitle>
        <RefYear>2016</RefYear>
        <RefJournal>Adv Simul (London)</RefJournal>
        <RefPage>31</RefPage>
        <RefTotal>Cook DA, Hatala R. Validation of educational assessments: a primer for simulation and beyond. Adv Simul (London). 2016;1:31. DOI: 10.1186&#47;s41077-016-0033-y</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1186&#47;s41077-016-0033-y</RefLink>
      </Reference>
      <Reference refNo="20">
        <RefAuthor>Jalili M</RefAuthor>
        <RefAuthor>Hejri SM</RefAuthor>
        <RefAuthor>Norcini JJ</RefAuthor>
        <RefTitle>Comparison of two methods of standard setting: the performance of the three-level Angoff method</RefTitle>
        <RefYear>2011</RefYear>
        <RefJournal>Med Educ</RefJournal>
        <RefPage>1199-1208</RefPage>
        <RefTotal>Jalili M, Hejri SM, Norcini JJ. Comparison of two methods of standard setting: the performance of the three-level Angoff method. Med Educ. 2011;45(12):1199-1208. DOI: 10.1111&#47;j.1365-2923.2011.04073.x</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1111&#47;j.1365-2923.2011.04073.x</RefLink>
      </Reference>
    </References>
    <Media>
      <Tables>
        <Table format="png">
          <MediaNo>1</MediaNo>
          <MediaID language="en">1en</MediaID>
          <MediaID language="de">1de</MediaID>
          <Caption language="en"><Pgraph><Mark1>Table 1: Summary of scoring </Mark1></Pgraph></Caption>
          <Caption language="de"><Pgraph><Mark1>Tabelle 1: Zusammenfassung des Scorings</Mark1></Pgraph></Caption>
        </Table>
        <NoOfTables>1</NoOfTables>
      </Tables>
      <Figures>
        <Figure format="png" height="514" width="1191">
          <MediaNo>1</MediaNo>
          <MediaID language="en">1en</MediaID>
          <MediaID language="de">1de</MediaID>
          <Caption language="en"><Pgraph><Mark1>Figure 1: Differentiation: complexity and difficulty</Mark1></Pgraph></Caption>
          <Caption language="de"><Pgraph><Mark1>Abbildung 1: Differenzierung: Komplexit&#228;t und Schwierigkeit</Mark1></Pgraph></Caption>
        </Figure>
        <NoOfPictures>1</NoOfPictures>
      </Figures>
      <InlineFigures>
        <NoOfPictures>0</NoOfPictures>
      </InlineFigures>
      <Attachments>
        <Attachment>
          <MediaNo>1</MediaNo>
          <MediaID filename="zma001288.a1en.pdf" language="en" mimeType="application/pdf" origFilename="Attachment&#95;1.pdf" size="100985" url="">1en</MediaID>
          <MediaID filename="zma001288.a1de.pdf" language="de" mimeType="application/pdf" origFilename="Anhang&#95;1.pdf" size="97991" url="">1de</MediaID>
          <AttachmentTitle language="en">Exemplary scoring of a clinical case</AttachmentTitle>
          <AttachmentTitle language="de">Beispielhaftes Scoring eines klinischen Falls</AttachmentTitle>
        </Attachment>
        <NoOfAttachments>1</NoOfAttachments>
      </Attachments>
    </Media>
  </OrigData>
</GmsArticle>