<?xml version="1.0" encoding="iso-8859-1" standalone="no"?>
<!DOCTYPE GmsArticle SYSTEM "http://www.egms.de/dtd/2.0.34/GmsArticle.dtd">
<GmsArticle xmlns:xlink="http://www.w3.org/1999/xlink">
  <MetaData>
    <Identifier>zma001156</Identifier>
    <IdentifierDoi>10.3205/zma001156</IdentifierDoi>
    <IdentifierUrn>urn:nbn:de:0183-zma0011565</IdentifierUrn>
    <ArticleType language="en">article</ArticleType>
    <ArticleType language="de">Artikel</ArticleType>
    <TitleGroup>
      <Title language="en">Effect of data self-collection as an activating teaching method in a statistical software course in medical biometry &#8211; a pilot study</Title>
      <TitleTranslated language="de">Effekt einer Selbsterhebung von Daten als aktivierende Lehrmethode in einem Statistiksoftwarekurs in medizinischer Biometrie &#8211; eine Pilotstudie</TitleTranslated>
    </TitleGroup>
    <CreatorList>
      <Creator>
        <PersonNames>
          <Lastname>Mayer</Lastname>
          <LastnameHeading>Mayer</LastnameHeading>
          <Firstname>Benjamin</Firstname>
          <Initials>B</Initials>
          <AcademicTitle>PD Dr.</AcademicTitle>
        </PersonNames>
        <Address language="en">Ulm University, Institute for Epidemiology and Medical Biometry, Schwabstr. 13, D-89075 Ulm, Germany, Phone: &#43;49 (0)731&#47;502-6896, Fax: &#43;49 (0)731&#47;502-26902<Affiliation>Ulm University, Institute for Epidemiology and Medical Biometry, Ulm, Germany</Affiliation></Address>
        <Address language="de">Universit&#228;t Ulm, Institut f&#252;r Epidemiologie und Medizinische Biometrie, Schwabstr. 13, 89075 Ulm, Deutschland, Tel.: &#43;49 (0)731&#47;502-6896, Fax: &#43;49 (0)731&#47;502-26902<Affiliation>Universit&#228;t Ulm, Institut f&#252;r Epidemiologie und Medizinische Biometrie, Ulm, Deutschland</Affiliation></Address>
        <Email>benjamin.mayer&#64;uni-ulm.de</Email>
        <Creatorrole corresponding="yes" presenting="no">author</Creatorrole>
      </Creator>
      <Creator>
        <PersonNames>
          <Lastname>Braisch</Lastname>
          <LastnameHeading>Braisch</LastnameHeading>
          <Firstname>Ulrike</Firstname>
          <Initials>U</Initials>
        </PersonNames>
        <Address language="en">
          <Affiliation>Ulm University, Institute for Epidemiology and Medical Biometry, Ulm, Germany</Affiliation>
        </Address>
        <Address language="de">
          <Affiliation>Universit&#228;t Ulm, Institut f&#252;r Epidemiologie und Medizinische Biometrie, Ulm, Deutschland</Affiliation>
        </Address>
        <Email>ulrike.braisch&#64;uni-ulm.de</Email>
        <Creatorrole corresponding="no" presenting="no">author</Creatorrole>
      </Creator>
      <Creator>
        <PersonNames>
          <Lastname>Meule</Lastname>
          <LastnameHeading>Meule</LastnameHeading>
          <Firstname>Marianne</Firstname>
          <Initials>M</Initials>
        </PersonNames>
        <Address language="en">
          <Affiliation>Ulm University, Institute for Epidemiology and Medical Biometry, Ulm, Germany</Affiliation>
        </Address>
        <Address language="de">
          <Affiliation>Universit&#228;t Ulm, Institut f&#252;r Epidemiologie und Medizinische Biometrie, Ulm, Deutschland</Affiliation>
        </Address>
        <Email>marianne.meule&#64;uni-ulm.de</Email>
        <Creatorrole corresponding="no" presenting="no">author</Creatorrole>
      </Creator>
      <Creator>
        <PersonNames>
          <Lastname>Allgoewer</Lastname>
          <LastnameHeading>Allgoewer</LastnameHeading>
          <Firstname>Andreas</Firstname>
          <Initials>A</Initials>
        </PersonNames>
        <Address language="en">
          <Affiliation>Ulm University, Institute for Epidemiology and Medical Biometry, Ulm, Germany</Affiliation>
        </Address>
        <Address language="de">
          <Affiliation>Universit&#228;t Ulm, Institut f&#252;r Epidemiologie und Medizinische Biometrie, Ulm, Deutschland</Affiliation>
        </Address>
        <Email>andreas.allgoewer&#64;uni-ulm.de</Email>
        <Creatorrole corresponding="no" presenting="no">author</Creatorrole>
      </Creator>
      <Creator>
        <PersonNames>
          <Lastname>Richter</Lastname>
          <LastnameHeading>Richter</LastnameHeading>
          <Firstname>Silvia</Firstname>
          <Initials>S</Initials>
        </PersonNames>
        <Address language="en">
          <Affiliation>Ulm University, Institute for Epidemiology and Medical Biometry, Ulm, Germany</Affiliation>
        </Address>
        <Address language="de">
          <Affiliation>Universit&#228;t Ulm, Institut f&#252;r Epidemiologie und Medizinische Biometrie, Ulm, Deutschland</Affiliation>
        </Address>
        <Email>srichter&#64;mail.hs-ulm.de</Email>
        <Creatorrole corresponding="no" presenting="no">author</Creatorrole>
      </Creator>
      <Creator>
        <PersonNames>
          <Lastname>Muche</Lastname>
          <LastnameHeading>Muche</LastnameHeading>
          <Firstname>Rainer</Firstname>
          <Initials>R</Initials>
        </PersonNames>
        <Address language="en">
          <Affiliation>Ulm University, Institute for Epidemiology and Medical Biometry, Ulm, Germany</Affiliation>
        </Address>
        <Address language="de">
          <Affiliation>Universit&#228;t Ulm, Institut f&#252;r Epidemiologie und Medizinische Biometrie, Ulm, Deutschland</Affiliation>
        </Address>
        <Email>rainer.muche&#64;uni-ulm.de</Email>
        <Creatorrole corresponding="no" presenting="no">author</Creatorrole>
      </Creator>
    </CreatorList>
    <PublisherList>
      <Publisher>
        <Corporation>
          <Corporatename>German Medical Science GMS Publishing House</Corporatename>
        </Corporation>
        <Address>D&#252;sseldorf</Address>
      </Publisher>
    </PublisherList>
    <SubjectGroup>
      <SubjectheadingDDB>610</SubjectheadingDDB>
      <Keyword language="en">Activation</Keyword>
      <Keyword language="en">biostatistics</Keyword>
      <Keyword language="en">software</Keyword>
      <Keyword language="en">SPSS</Keyword>
      <Keyword language="de">Aktivierung</Keyword>
      <Keyword language="de">Medizinische Biometrie</Keyword>
      <Keyword language="de">Software</Keyword>
      <Keyword language="de">SPSS</Keyword>
      <SectionHeading language="en">Medical Biometry</SectionHeading>
      <SectionHeading language="de">Medizinische Biometrie</SectionHeading>
    </SubjectGroup>
    <DateReceived>20170731</DateReceived>
    <DateRevised>20171026</DateRevised>
    <DateAccepted>20171204</DateAccepted>
    <DatePublishedList>
      
    <DatePublished>20180215</DatePublished></DatePublishedList>
    <Language>engl</Language>
    <LanguageTranslation>germ</LanguageTranslation>
    <License license-type="open-access" xlink:href="http://creativecommons.org/licenses/by/4.0/">
      <AltText language="en">This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License.</AltText>
      <AltText language="de">Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung).</AltText>
    </License>
    <SourceGroup>
      <Journal>
        <ISSN>2366-5017</ISSN>
        <Volume>35</Volume>
        <Issue>1</Issue>
        <JournalTitle>GMS Journal for Medical Education</JournalTitle>
        <JournalTitleAbbr>GMS J Med Educ</JournalTitleAbbr>
      </Journal>
    </SourceGroup>
    <ArticleNo>9</ArticleNo>
  </MetaData>
  <OrigData>
    <Abstract language="de" linked="yes"><Pgraph><Mark1>Hintergrund: </Mark1>Die Medizinische Biometrie ist ein zentraler Bestandteil des Studiums der Humanmedizin. Die Studierenden lernen die Grundlagen der Analyse und Interpretation von Studienergebnissen. Die Relevanz des Fachgebietes sollte durch die Anwendung geeigneter Lehrma&#223;nahmen veranschaulicht werden, um den Lernerfolg zu maximieren. Wir untersuchten, ob eine aktive Beteiligung der Studierenden im Rahmen des Datenerhebungsprozesses den Erfolg im Testat und die Motivation bei Studierenden der Humanmedizin erh&#246;hen kann. </Pgraph><Pgraph><Mark1>Methoden: </Mark1>Wir f&#252;hrten eine Pilotstudie durch, bei der eine aktive Beteiligung von Studierenden im Datenerhebungsprozess (n1&#61;45) verglichen wurde mit einem Standardansatz der Lehre (n2&#61;26).  Alle Studierenden dieser Pilotstudie nahmen Teil an einer Beobachtungsstudie, in deren Rahmen die Vorliebe f&#252;r S&#252;&#223;igkeiten oder salzige Knabbereien erhoben wurde. Die Studierenden der Interventionsgruppe arbeiteten anschlie&#223;end w&#228;hrend der Seminar&#252;bungen des gesamten Semesters mit diesem Datensatz. Die prim&#228;ren und sekund&#228;ren Endpunkte der Studie waren der Erfolg im Testat sowie die Motivation. </Pgraph><Pgraph><Mark1>Ergebnisse: </Mark1>Eine &#220;berlegenheit der aktivierenden Lehrmethode konnte nicht gezeigt werden (Interventionsgruppe: 109.0 Punkte (SD 8.8), Kontrollgruppe: 113.8 Punkte (SD 6.5)). Die Bewertungen des Seminars waren in der Interventionsgruppe leicht &#252;berlegen (mediane Note 1 vs. mediane Note 2 in der Kontrollgruppe), jedoch stellte dies keine signifikante Verbesserung dar (p&#61;0.487). </Pgraph><Pgraph><Mark1>Schlussfolgerungen:</Mark1> Die Lehre im Fach Medizinische Biometrie sollte didaktische Ans&#228;tze integrieren, die zu einem besseren Verst&#228;ndnis der Lehrinhalte beitragen k&#246;nnen. M&#246;gliche Gr&#252;nde, weshalb eine &#220;berlegenheit des betrachteten Lehrkonzeptes hier nicht gezeigt werden konnte, k&#246;nnten eine zu geringe Fallzahl sowie die guten Bewertungen der Kontrollgruppe gewesen sein. Das vorgestellte Lehrkonzept sollte auf der Basis einer gr&#246;&#223;eren Stichprobe evaluiert werden, um zu valideren Schlussfolgerungen zu gelangen. Zudem sollte die zugrunde gelegte Forschungsfrage in der Interventionsgruppe ge&#228;ndert werden in eine f&#252;r die medizinische Praxis relevantere. </Pgraph></Abstract>
    <Abstract language="en" linked="yes"><Pgraph><Mark1>Background: </Mark1>Biostatistics is an integral part of the studies of human medicine. Students learn the basics of analyzing and interpreting study results. It is important to demonstrate the subject&#8217;s relevance by means of appropriate measures to maximize learning success. We investigated whether an active involvement of students in the process of data collection may improve test performance and motivation among medical students.</Pgraph><Pgraph><Mark1>Methods:</Mark1> We conducted a pilot study comparing active involvement of students (n1&#61;45) in the process of data collection and standard education (n2&#61;26).  All students of this pilot study participated in an observational study assessing their preferences regarding sweets or salty munchies, and students of the experimental group subsequently used this data set during the exercises throughout the semester. Primary and secondary endpoints were examination success and motivation respectively. </Pgraph><Pgraph><Mark1>Results:</Mark1> Superiority of the activating teaching method could not be demonstrated (intervention: 109.0 points (SD 8.8), control: 113.8 points (SD 6.5)). The course ratings were superior in the intervention group (median grade 1 vs. median grade 2 in the control group), although this was not a significant improvement (p&#61;0.487). </Pgraph><Pgraph><Mark1>Conclusions: </Mark1>Biostatistics education should incorporate approaches contributing to a better understanding of learning contents. Possible reasons why this pilot study failed to prove superiority of the intervention were a lack of sample size as well as the good grades in the control group. The presented teaching concept has to be evaluated by means of a larger sample enabling more valid conclusions. Furthermore, the considered research question in the experimental group may be changed to a more relevant one for medical practice. </Pgraph></Abstract>
    <TextBlock language="en" linked="yes" name="Introduction">
      <MainHeadline>Introduction</MainHeadline><Pgraph>Biostatistics is an integral part of the studies of human medicine. In Germany, the subject shows up in the curriculum in combination with epidemiology and medical informatics. This so-called cross-sectional subject Q1 is highly important for prospective physicians, since it introduces the basics of planning, conducting, analyzing, interpreting, and reporting studies in medical research. Biostatistics is especially geared to teach the statistical-mathematical principles of standard approaches of data analysis. Teaching epidemiology is primarily focused on essential aspects of observational studies, which are largely applied to investigate the development and dissemination of diseases. Ultimately, the interest of medical informatics is on the appropriate use of information technology methods (e.g. databases or statistical software) in order to efficiently manage and analyze medical data sets. </Pgraph><Pgraph>The overriding educational objective of lectures in biostatistics for students of human medicine is to familiarize them with the basic knowledge and terminology of medical statistics. This is essential for an autonomous preparation of scientific work (e.g. dissertation or research article). Moreover, students should be able to understand the content of published articles in order to evaluate their importance appropriately. This is an important skill for the subsequent professional life, no matter in which field of medical research <TextLink reference="1"></TextLink>. Of course, physicians who are primarily involved in research projects have to cope with published research articles more often, but also practical physicians should be able to profoundly assess the significance of research findings. </Pgraph><Pgraph>Despite the undeniable importance of biostatistics in practice, it seems that the subject does not enjoy great popularity among students compared to other, more clinical subjects. The main reasons for that may be a general unpopularity of mathematical disciplines and an insufficient connection to practical relevance. Therefore, it is all the more important to incorporate descriptive examples in the lectures in order to maximize learning success. Ideally, activating teaching methods should be additionally applied. It has been demonstrated that this didactic approach could improve learning success <TextLink reference="2"></TextLink>, <TextLink reference="3"></TextLink>. Also, from the motivational model of Keller and Kopp (<Mark2>ARCS- attention, relevance, confidence, satisfaction</Mark2>) it could be derived that successful didactical approaches necessarily have to include specific motivational components <TextLink reference="4"></TextLink>. </Pgraph><Pgraph>A first step towards more practical relevance has been realized more than ten years ago at our institute. A PC-based seminar in biostatistics has been designed and implemented. Since then a maximum of 76 students per semester (25&#37; of the full cohort) can work on practical exercises in the field of medical statistics <TextLink reference="5"></TextLink>. The analyses base on real data from a finalized study in pediatrics. This observational study investigated the prevalence of type 2 diabetes mellitus in obese children and adolescence <TextLink reference="6"></TextLink>. By means of this dataset students work on exercises in descriptive statistics, confidence intervals, event time analysis, correlation and regression analysis, and statistical tests. Initially, SAS Analyst was used for the analysis, but in the meantime we switched to the statistical software SPSS. This software is not only used for the exercises, but also for processing the short examinations at the end of each seminar. Students have to generate the results using SPSS and afterwards all solutions are recorded in Microsoft Access input screens. Correction and marking are subsequently done automatically by means of respective SAS programs. The results of all short examinations are cumulated and replace the common exam at the end of the semester. </Pgraph><Pgraph>This initial approach of a PC-based seminar in biostatistics improved the practical relevance <TextLink reference="7"></TextLink>. However, due to limited capacity in the PC-labs it is still not possible for the majority of the students to attend the PC-seminar. They have to attend the regular seminar where the exercises and short examinations are handled using pocket calculators. This is of course not appropriate and unconducive regarding the goal of arousing interest for the subject. The increased practical relevance achieved by implementing the PC-seminar could be further enhanced if the students were actively involved in the process of data collection. This would enable students to subsequently work on exercises which base on their own data. Thus, self-assessment of research data is in the sense of integrating activating teaching methods which are evidently able to increase learning success <TextLink reference="2"></TextLink>, <TextLink reference="8"></TextLink>, <TextLink reference="9"></TextLink>. Consequently, we developed our idea of the study concept presented in the following. </Pgraph><Pgraph>In the course of diverse university events (e.g. anniversary of Ulm University, Pupils&#8217; University, adult training courses) we presented an example study in order to demonstrate the principles of biostatistics to a broad and non-specialist audience. Interested visitors were able to participate in this observational study which captured primarily the participants&#8217; preference for sweets (in German so called &#8220;Naschkatzen&#8221;) or salty munchies (&#8220;Nagetiere&#8221;). In addition, few basic variables like age, gender, body height and body weights were collected. The analysis of this observational data primarily focused an evaluation of possible differences between the two groups regarding the participants&#8217; body mass index (BMI) <TextLink reference="10"></TextLink>. The acronym NaNa was used for this example study because of the afore mentioned German labels of both study groups.  </Pgraph><Pgraph>Consequently, the NaNa concept provided a promising opportunity regarding the aim of raising practical relevance in teaching biostatistics. On the one hand, students would be involved actively in the data collection process. Thus, basic principles of data collection as well as the associated problems can be discussed while implementing a respective data base. On the other hand, motivation may be increased by the fact that students will work on data which they have collected on their own. This may have positive effects on learning success. Altogether, it seemed possible in this way to emphasize the relevance of biostatistics. To evaluate the effect of this interactive didactic method we conducted a prospective, controlled, two-arm, single center, pilot study with observational data. Specifically, the NaNa-based teaching concept was compared to the current standard of education in the statistical software course in biostatistics. Our research hypothesis was that the NaNa concept is superior with respect to learning success and motivation. </Pgraph><Pgraph>The article is structured as follows: first, the applied didactic approaches (intervention and control) are described along with the collected study variables. Afterwards, the results of both research hypotheses, improvement of learning success and motivation, are presented. The article concludes with a discussion of the takeaways regarding the effect of the didactic intervention as well as the potential of the NaNa concept to be established as a new standard for the statistical software course. </Pgraph></TextBlock>
    <TextBlock language="de" linked="yes" name="Einleitung">
      <MainHeadline>Einleitung</MainHeadline><Pgraph>Die Medizinische Biometrie ist ein zentraler Bestandteil des Studiums der Humanmedizin. In Deutschland ist das Fach in Kombination mit den F&#228;chern Epidemiologie und Medizinische Informatik im so genannten Querschnittsfach Q1 im Curriculum implementiert. Das Querschnittsfach hat insofern eine hohe Relevanz f&#252;r zuk&#252;nftige Mediziner, da es die Grundlagen der Studienplanung, -durchf&#252;hrung, -auswertung und -interpretation in der medizinischen Forschung einf&#252;hrt. Die Medizinische Biometrie zielt dabei insbesondere auf die statistisch-methodischen Grundlagen ab, welche den Standardauswertungsmethoden zugrunde liegen. Die Lehre im Fach Epidemiologie hat ihren Fokus prim&#228;r auf die zentralen Aspekte von Beobachtungsstudien ausgerichtet, in deren Rahmen &#252;berwiegend die Entwicklung und Verbreitung von Krankheiten untersucht werden. Das Interesse der Medizinischen Informatik gilt schlie&#223;lich dem geeigneten Einsatz informationstechnologischer Methoden (z.B. Datenbanken und statistische Software) im Rahmen einer effizienten Verarbeitung und Auswertung medizinischer Daten.  </Pgraph><Pgraph>Das &#252;bergeordnete Lehrziel der Vorlesung Medizinische Biometrie f&#252;r Studierende der Humanmedizin ist sie mit den Grundlagen und der Terminologie des Faches vertraut zu machen. Dies ist eine Grundvoraussetzung f&#252;r die eigenst&#228;ndige Erstellung wissenschaftlicher Arbeiten (z.B. Dissertation oder Fachartikel). Zudem sollten die Studierenden dazu bef&#228;higt werden den Inhalt publizierter Fachartikel verstehen und deren inhaltliche Relevanz bewerten zu k&#246;nnen. Dies stellt eine wichtige Fertigkeit ihres sp&#228;teren Berufslebens dar, unabh&#228;ngig davon in welchem Bereich der medizinischen Forschung sie arbeiten werden <TextLink reference="1"></TextLink>. Zwar werden in der Forschung aktive Mediziner h&#228;ufiger damit konfrontiert sich mit Fachartikeln auseinanderzusetzen, jedoch sollten auch praktisch t&#228;tige Mediziner in der Lage sein die Bedeutung neuer Forschungsergebnisse valide einzusch&#228;tzen.  </Pgraph><Pgraph>Trotz der unbestreitbaren Bedeutung der Medizinischen Biometrie in der wissenschaftlichen Praxis, scheint es als w&#252;rde dem Fach keine gro&#223;e Sympathie entgegengebracht werden im Vergleich zu anderen, eher klinisch orientierten F&#228;chern. Haupts&#228;chlich kann dies vielleicht auf eine grunds&#228;tzliche Unbeliebtheit mathematischer F&#228;cher und einer nicht ausreichend erkennbaren praktischen Relevanz zur&#252;ckgef&#252;hrt werden. Deshalb ist es umso wichtiger anschauliche Beispiele in die Lehrveranstaltungen zu integrieren, um den Lernerfolg zu maximieren. Idealerweise sollten zus&#228;tzlich aktivierende Lehrmethoden eingesetzt werden, um diesen Prozess zu unterst&#252;tzen. Es konnte in zahlreichen Studien belegt werden, dass dieser didaktische Ansatz den Lernerfolg verbessern kann <TextLink reference="2"></TextLink>, <TextLink reference="3"></TextLink>. Ebenso kann aus dem Motivationsmodell nach Keller und Kopp (ARCS) abgeleitet werden, dass erfolgreiche didaktische Ans&#228;tze notwendigerweise spezifische motivierende Komponenten beinhalten m&#252;ssen <TextLink reference="4"></TextLink>. </Pgraph><Pgraph>Ein erster Schritt in Richtung mehr Praxisn&#228;he wurde an unserem Institut bereits vor mehr als zehn Jahren gemacht. Damals wurde ein PC-basiertes Seminar in Medizinischer Biometrie entwickelt und in die regul&#228;re Lehre implementiert. Seither k&#246;nnen maximal 76 Studierende pro Semester (25&#37; der Gesamtkohorte) &#220;bungsaufgaben in einem praxisorientierten  Setting der Medizinischen Biometrie bearbeiten <TextLink reference="5"></TextLink>. Die Aufgaben und Analysen basieren auf einem realen Datensatz einer bereits abgeschlossenen Studie aus dem Bereich P&#228;diatrie. Im Rahmen der betreffenden Beobachtungsstudie wurde die Pr&#228;valenz von Typ 2 Diabetes mellitus in adip&#246;sen Kindern und Jugendlichen untersucht <TextLink reference="6"></TextLink>. Unter Verwendung dieser Daten bearbeiten die Studierenden verschiedene &#220;bungsaufgaben in den Bereichen deskriptive Statistik, Konfidenzintervalle, Ereigniszeitanalyse, Korrelation und Regression, sowie statistische Tests. Urspr&#252;nglich wurde die Software SAS Analyst f&#252;r die Auswertungen verwendet, mittlerweile wird jedoch mit der Statistiksoftware SPSS gearbeitet. Die Software wird dabei nicht nur f&#252;r die Bearbeitung der &#220;bungsaufgaben eingesetzt, sondern auch f&#252;r die Kurztestate am Ende eines jeden Seminars. Die Studierenden erzeugen ihre Analyseergebnisse mit SPSS und &#252;bertagen diese dann in speziell daf&#252;r entwickelte Microsoft Access Eingabemasken. Die Korrektur und Benotung der Kurztestate erfolgt anschlie&#223;end dann automatisiert mit Hilfe entsprechender SAS-Programme. Die Ergebnisse aller Kurztestate werden kumuliert und ersetzen am Semesterende die gew&#246;hnliche Examensnote. </Pgraph><Pgraph>Dieser initiale Ansatz eines PC-basierten Seminars in Medizinischer Biometrie konnte die praktische Relevanz verbessern <TextLink reference="7"></TextLink>. Allerdings ist es f&#252;r die Mehrzahl der Studierenden aus Kapazit&#228;tsgr&#252;nden in den PC-Pools nicht m&#246;glich das PC-Seminar zu besuchen. Damit besuchen 75&#37; der Gesamtkohorte der Studierenden das regul&#228;re Seminar, in dessen Rahmen die &#220;bungen und Testate mit Hilfe von kleineren Rechenaufgaben unter Verwendung eines Taschenrechners durchgef&#252;hrt werden. Dies ist nat&#252;rlich nicht angemessen und f&#246;rderlich f&#252;r das Ziel einer Erh&#246;hung des Interesses f&#252;r das Fachgebiet. Die durch die Implementierung des PC-Seminars erreichte Steigerung der praktischen Relevanz k&#246;nnte unter Umst&#228;nden weiter gesteigert werden, wenn die Studierenden bereits in den Prozess der Datenerhebung involviert w&#228;ren. Dies w&#252;rde es ihnen erm&#246;glichen im Anschluss an die Datengenerierung mit den eigenen Daten zu arbeiten, was insgesamt damit dem Konzept der aktivierenden Lehrmethoden entspricht. Diese sind nachweislich in der Lage den Lernerfolg zu erh&#246;hen <TextLink reference="2"></TextLink>, <TextLink reference="8"></TextLink>, <TextLink reference="9"></TextLink>. Demzufolge wurde von uns das hier vorgestellte Studienkonzept entwickelt.</Pgraph><Pgraph>Im Rahmen verschiedener universit&#228;rer Veranstaltungen (z.B. Jubil&#228;um der Universit&#228;t, &#8222;Sch&#252;leruniversit&#228;ten&#8220;, Erwachsenen-&#47;Seniorenweiterbildung) nutzten wir bereits eine Beispielstudie, um die Grundlagen der Medizinstatistik einem breiten, nicht-spezialisierten Publikum zu demonstrieren. Interessierten Teilnehmern wurde die Teilnahme an einer kleinen Beobachtungsstudie angeboten, deren Ziel darin bestand die Pr&#228;ferenz der Teilnehmer hinsichtlich S&#252;&#223;igkeiten (&#8222;Naschkatzen&#8220;) oder salzigen Knabbereien (&#8222;Nagetiere&#8220;) zu erfassen. Zus&#228;tzlich wurden wenige andere Basisvariablen wie Alter, Geschlecht, sowie K&#246;rpergr&#246;&#223;e und K&#246;rpergewicht erhoben. Die Auswertung der Beispielstudie zielte haupts&#228;chlich auf den m&#246;glichen Unterschied im Body Mass Index (BMI) zwischen den beiden Gruppen ab <TextLink reference="10"></TextLink>. Das im Folgenden verwendete Studienakronym NaNa resultierte dabei aus den zuvor genannten Gruppenbeschreibungen von Naschkatzen und Nagetieren. </Pgraph><Pgraph>Demzufolge stellte das NaNa Studienkonzept eine vielversprechende M&#246;glichkeit dar die praktische Relevanz des Seminars in Medizinischer Biometrie zu verbessern. Einerseits konnten damit die Studierenden in den Prozess der Datenerhebung involviert werden, so dass die grundlegenden Aspekte dieses Prozesses mit den damit assoziierten Problem diskutiert werden konnten. Zum anderen erhofften wir uns eine Motivationssteigerung auf Seiten der Studierenden aufgrund der Tatsache, dass sie im Rahmen des Seminars mit den eigenen Daten arbeiten k&#246;nnen. Dies k&#246;nnte auch einen positiven Effekt auf den Lernerfolg haben. Um den Effekt dieser aktivierenden Lehrmethode evaluieren zu k&#246;nnen, f&#252;hrten wir eine Pilotstudie auf der Basis von Beobachtungsdaten durch. Im Speziellen wurde das NaNa-Lehrkonzept verglichen mit der bis dahin als Standard implementierten Lehrmethode im Softwarekurs Medizinische Biometrie. Unserer Forschungshypothese entsprechend sollte das NaNa-Konzept &#252;berlegen sein in Bezug auf Lernerfolg und Motivation. </Pgraph><Pgraph>Der Artikel ist wie folg strukturiert: Zun&#228;chst werden die eingesetzten didaktischen Ans&#228;tze (Intervention und Kontrolle) vorgestellt und die erhobenen Studiendaten beschrieben. Anschlie&#223;end erfolgt eine Evaluierung der beiden Forschungshypothesen, d.h. Verbesserung des Lernerfolgs und Erh&#246;hung der Motivation. Der Artikel schlie&#223;t mit einer kritischen Diskussion der Kernaussagen der Analysen im Hinblick auf den Effekt der didaktischen Intervention und des Potentials des NaNa-Konzeptes als Standardlehrmethode im betreffenden Statistiksoftwarekurs eingesetzt zu werden. </Pgraph></TextBlock>
    <TextBlock language="en" linked="yes" name="Material and methods">
      <MainHeadline>Material and methods</MainHeadline><SubHeadline2>Study design, participants and didactic intervention</SubHeadline2><Pgraph>The study followed a mono-centric, two-arm, controlled design with prospective observational data. There was no formal sample size calculation because of the pilot-character of this study, although the sample size could have calculated based on information about the primary outcome (examination success) in the control group. Instead, all students of human medicine at Ulm University who attended the PC-based seminar on biostatistics during the winter term 2016&#47;17 participated in our study (<Mark2>N</Mark2>&#61;71). The students belonged to one of four seminar groups (maximum space for 24 and 14 students, respectively) which were instructed by three lecturers. Nearly all students (<Mark2>N</Mark2><Mark2><Subscript>dataset</Subscript></Mark2>&#61;70) attended data collection in the course of an unscheduled date before the official launch of the seminar. The two larger seminar groups (<Mark2>n</Mark2><Mark2><Subscript>1</Subscript></Mark2>&#61;45) received the NaNa concept as the leading didactic intervention and worked with the self-assessed participants data during the semester. The two smaller groups (<Mark2>n</Mark2><Mark2><Subscript>2</Subscript></Mark2>&#61;26) served as a control intervention and worked with real observational data of a finalized study in pediatrics <TextLink reference="6"></TextLink>. Hence, the control group received the standard didactic intervention which has been used for more than 10 years in the respective statistics software course. Students of both interventional groups processed exactly the same exercises during the tutorials and examinations, respectively. Only the variables used in the exercises differed. All students gave written consent to participate in the study. The ethics committee of Ulm University approved the study. </Pgraph><SubHeadline2>Data assessment</SubHeadline2><Pgraph>Data assessment was pseudonymized. Available study participant (<Mark2>N</Mark2>&#61;70) gave information about demographic and health-related variables. Furthermore, variables describing the consumption behavior of the offered snacks were assessed, in particular type of snack (sweets or salty munchies), frequency of snack consumption and main reason for the consumption. There was a wide choice of both offered snack groups in order to cover all preferences. </Pgraph><Pgraph>Relevant demographic variables included age, gender, body height, body weight, and origin. Health-related variables involved physical activity, blood pressure, smoking status, chronic diseases, and allergies. The collected data were used to create exercises for the tutorials and examinations, respectively. All exercises were directly guided by those of the standard didactic intervention.  </Pgraph><SubHeadline2>Outcomes</SubHeadline2><Pgraph>The primary objective for an assessment of the didactic intervention&#8217;s effect was the cumulated sum of points from all single examinations during the semester and the accompanied grades, respectively. The results of the lecture&#8217;s evaluation by the students was a secondary objective of the trial. </Pgraph><SubHeadline2>Statistical analysis</SubHeadline2><Pgraph>First, a comparison of both collectives regarding demographic variables was conducted descriptively. Continuous variables were described using mean, standard deviation (SD), median, and quartiles (where appropriate). Frequencies were calculated for categorical variables and the chi-square test or Fisher&#8217;s exact test were used, respectively, to compare them subsequently. The unpaired t-test was used to analyze the primary endpoint. From earlier semesters it could be expected that the cumulative sum of points will be normally distributed. The Mann-Whitney-U test was used for the evaluation of the secondary endpoint (acceptance) due to its ordinal scale level. Cohen&#8217;s effect size (<Mark2>d</Mark2>) has been additionally calculated in order to express the strength of the effect sizes <TextLink reference="11"></TextLink>. A p&#8804;0.05 was considered significant, whereas all results were interpreted in an explorative manner. Only single missing values occurred in the final data set, whereas no missing values were present in variables concerning both the primary and secondary outcome. The statistical software R (version 3.2.1, <Hyperlink href="http:&#47;&#47;www.r-project.org">http:&#47;&#47;www.r-project.org</Hyperlink>) was used for the analyses.  </Pgraph></TextBlock>
    <TextBlock language="de" linked="yes" name="Material und Methoden">
      <MainHeadline>Material und Methoden</MainHeadline><SubHeadline2>Studiendesign, Studienteilnehmer und didaktische Intervention</SubHeadline2><Pgraph>Die Studie folgte einem monozentrischen, zweiarmigen, kontrollierten Design mit prospektiven Beobachtungsdaten. Aufgrund des Pilotcharakters der Studie erfolgte in der Planungsphase keine formale Absch&#228;tzung der Stichprobengr&#246;&#223;e, obwohl eine Berechnung auf Basis entsprechender Vordaten zum Lernerfolg (Testatergebnisse) in der Kontrollgruppe h&#228;tte durchgef&#252;hrt werden k&#246;nnen. Stattdessen wurden alle Studierenden der Humanmedizin der Universit&#228;t Ulm, die am PC-Seminar der Medizinischen Biometrie im Wintersemester 2016&#47;17 teilgenommen haben, in die Studie eingeschlossen (<Mark2>N</Mark2>&#61;71). Die Studierenden besuchten eine von vier m&#246;glichen Seminargruppen (maximal 24 bzw. 14 Teilnehmer pro Kurs), welche von 3 verschiedenen Dozenten unterrichtet wurden. Fast alle Studierenden (<Mark2>N</Mark2><Mark2><Subscript>dataset</Subscript></Mark2>&#61;70) nahmen an der Datenerhebung teil, welche im Rahmen eines au&#223;erplanm&#228;&#223;igen Termins vor offiziellem Start des Seminars stattfand. Die zwei gr&#246;&#223;eren Seminargruppen (<Mark2>n</Mark2><Mark2><Subscript>1</Subscript></Mark2>&#61;45) wurden mit dem interventionellen NaNa-Lehrkonzept unterrichtet und arbeiteten demnach w&#228;hrend des Kurses mit den eigens erhobenen Daten aller Studienteilnehmer. Die zwei kleineren Gruppen (<Mark2>n</Mark2><Mark2><Subscript>2</Subscript></Mark2>&#61;26)  fungierten als Kontrollgruppe und wurden mit dem etablierten Standardlehrkonzept unterrichtet, so dass deren Seminar- und Testataufgaben auf realen Beobachtungsdaten einer p&#228;diatrischen Studie basierten <TextLink reference="6"></TextLink>. Die Studierenden beider Vergleichsgruppen bearbeiteten exakt dieselben Aufgaben w&#228;hrend der &#220;bungen und Testate. Einzige Ausnahme waren die Variablen, welche f&#252;r die Berechnungen verwendet wurden. Alle Studierenden gaben ihr schriftliches Einverst&#228;ndnis zur Teilnahme an der Studie. Zudem lag ein positives Votum der Ethikkommission Ulm vor. </Pgraph><SubHeadline2>Datenerhebung</SubHeadline2><Pgraph>Die Datenerhebung erfolgte pseudonymisiert. Die an der Datenerhebung anwesenden Studienteilnehmer (<Mark2>N</Mark2>&#61;70) machten Angaben zu demographischen und gesundheitsbezogenen Variablen. Zudem wurde das Konsumverhalten der angebotenen Snacks erhoben, insbesondere die Art des Snacks (s&#252;&#223; oder salzig), die Konsumh&#228;ufigkeit und der Hauptgrund f&#252;r den Konsum. In beiden Snackgruppen gab es ein breites Angebot, um m&#246;glichst alle Pr&#228;ferenzen abzudecken. </Pgraph><Pgraph>Die demographischen Variablen umfassten Alter, Geschlecht, K&#246;rpergr&#246;&#223;e, K&#246;rpergewicht und Herkunftsland. Die gesundheitsbezogenen Merkmale waren k&#246;rperliche Aktivit&#228;t, Blutdruck, Raucherstatus, chronische Erkrankungen und Allergien. Die erhobenen Merkmale wurden genutzt um die &#220;bungs- und Testataufgaben entsprechend zu konzipieren. Alle Aufgaben orientierten sich dabei strikt an denen der Kontrollgruppe. </Pgraph><SubHeadline2>Endpunkte</SubHeadline2><Pgraph>Die prim&#228;re Zielgr&#246;&#223;e der Studie zur Erfassung des Effektes der didaktischen Intervention war die kumulierte Punktzahl aus allen sechs Testaten w&#228;hrend des Semesters bzw. der damit einhergehenden Note. Die Ergebnisse der Evaluierung des Seminars durch die Studierenden war die sekund&#228;re Zielgr&#246;&#223;e unserer Studie. </Pgraph><SubHeadline2>Statistische Analyse</SubHeadline2><Pgraph>Ein Vergleich der beiden Studienkollektive in Bezug auf die demographischen Variablen erfolgte zun&#228;chst deskriptiv. F&#252;r kontinuierliche Merkmale wurden Mittelwert, Standardabweichung (SD), Median und Quartile berechnet. F&#252;r kategoriale Merkmale wurden H&#228;ufigkeiten berechnet, die anschlie&#223;end mit Hilfe des Chi-Quadrat-Tests bzw. des exakten Test nach Fisher weitergehend verglichen wurden. Ein ungepaarter t-Test wurde f&#252;r die Analyse des prim&#228;ren Endpunktes verwendet. Aus fr&#252;heren Semestern konnte erwartet werden, dass die kumulierten Punkte einer Normalverteilung folgen. Der Mann-Whitney-U-Test wurde eingesetzt zum Vergleich der Kollektive im Hinblick auf die ordinalskalierte, sekund&#228;re Zielgr&#246;&#223;e (Akzeptanz bzw. Motivation). Zus&#228;tzlich wurde jeweils Cohen&#8217;s <Mark2>d</Mark2> berechnet, um die St&#228;rke des Effektes auszudr&#252;cken <TextLink reference="11"></TextLink>. Ein p&#8804;0.05 wurde als statistisch signifikant betrachtet, wobei alle Ergebnisse in explorativem Sinne interpretiert werden. Nur vereinzelt zeigten sich fehlende Werte in den Daten, insbesondere f&#252;r die prim&#228;ren und sekund&#228;ren Endpunkte war die Datenerhebung vollst&#228;ndig. Die Statistiksoftware R (Version 3.2.1, <Hyperlink href="http:&#47;&#47;www.r-project.org">http:&#47;&#47;www.r-project.org</Hyperlink>) wurde f&#252;r die Analysen verwendet. </Pgraph></TextBlock>
    <TextBlock language="en" linked="yes" name="Results">
      <MainHeadline>Results</MainHeadline><Pgraph>Study participants showed no difference compared to those who did not attend the PC-based seminar in biostatistics during the winter term 2016&#47;17 with respect to the distribution of age and gender. On average, they were 23.9 years old (SD 2.9) and 43&#37; were male (see Table 1 <ImgLink imgNo="1" imgType="table"/>). The majority attended the 6<Superscript>th</Superscript> or 7<Superscript>th</Superscript> semester (77&#37;) and decided to take sweets (76&#37;) in the course of data collection. Independent of their choice for either snack groups 80&#37; stated &#8220;enjoyment&#8221; as the main reason for the consumption. There was no difference between the intervention and control groups regarding age and gender, but with respect to the distribution of semesters (p&#61;0.0003).</Pgraph><Pgraph>The primary research hypothesis of a superiority of the NaNa concept with respect to improved learning success and motivation could not be demonstrated by means of the collected study data. On the contrary, students of the control group were even slightly superior with a mean of 113.8 points (SD 6.5) from all examinations compared to 109.0 points (SD 8.8) on average for students of the NaNa group (p&#61;0.012, see Figure 1 <ImgLink imgNo="1" imgType="figure"/>). This corresponds to an effect size of <Mark2>d</Mark2>&#61;0.62 indicating a moderate effect. Of course, this was also confirmed by an evaluation of the resulting grades (1.6 (SD 0.6) in the control group vs. 2.1 (SD 0.7) in the NaNa group, i.e. <Mark2>d</Mark2>&#61;0.77, p&#61;0.001). Nevertheless, the interventional group scored the seminar slightly better (median score 1) than the control group (median score 2), whereas the scoring based on regular school grades from 1&#61;best to 6&#61;worst. This difference was not statistically significant (<Mark2>d</Mark2>&#61;0.16, p&#61;0.487). The same tendency was also observed when looking at more detailed questions referring specific aspects of the lecture evaluation. The median score for &#8220;I would attend the lecture again.&#8220; was 6 (&#8220;complete agreement&#8220;) in the NaNa group and 5 (&#8220;agreement&#8220;) in the control group. The question &#8220;I have learned a lot&#8221; was scored equally in both groups with a median of 5 (&#8220;agreement&#8221;). </Pgraph></TextBlock>
    <TextBlock language="de" linked="yes" name="Ergebnisse">
      <MainHeadline>Ergebnisse</MainHeadline><Pgraph>Die Studienteilnehmer zeigten keine Unterschiede hinsichtlich der Alters- und Geschlechterverteilung im Vergleich zu jenen Studierenden, die w&#228;hrend des Wintersemesters 2016&#47;17 nicht am PC-Seminar teilgenommen haben. Sie waren durchschnittlich 23.9 Jahre alt (SD 2.9) und 43&#37; waren m&#228;nnlich (siehe Tabelle 1 <ImgLink imgNo="1" imgType="table"/>). Die Mehrzahl besuchte das 6. oder 7. Fachsemester (77&#37;) und entschied sich f&#252;r einen s&#252;&#223;en Snack (76&#37;) w&#228;hrend der Datenerhebung. Unabh&#228;ngig vom gew&#228;hlten Snack gaben 80&#37; der Studienteilnehmer &#8222;Genuss&#8220; als Hauptgrund des Konsums an. Hinsichtlich Alter und Geschlecht konnten keine Unterschiede der beiden Vergleichskollektive nachgewiesen werden, jedoch im Hinblick auf die Verteilung der Fachsemester (p&#61;0.0003). </Pgraph><Pgraph>Die prim&#228;ren Forschungshypothesen einer &#220;berlegenheit des NaNa Konzeptes in Bezug auf eine Erh&#246;hung des Lernerfolgs und der Motivation konnte auf Basis der erhobenen Daten nicht gezeigt werden. Vielmehr zeigten die Studierenden der Kontrollgruppe sogar etwas bessere Ergebnisse bez&#252;glich Lernerfolg mit durchschnittlich 113.8 Punkten (SD 6.5) &#252;ber alle Testate hinweg im Vergleich zu 109.0 Punkten (SD 8.8) f&#252;r Studierende der NaNa-Gruppe (p&#61;0.012, siehe Abbildung 1 <ImgLink imgNo="1" imgType="figure"/>). Dieses Resultat zeigt sich in einer Effektgr&#246;&#223;e von <Mark2>d</Mark2>&#61;0.62, welche einen moderaten Effekt darstellt. Als eine logische Konsequenz waren damit auch die Noten der Kontrollgruppe im Mittel besser (1.6 (SD 0.6)) als in der NaNa-Gruppe (2.1 (SD 0.7)), d.h. <Mark2>d</Mark2>&#61;0.77 und p&#61;0.001. Jedoch bewerteten die Studierenden der Interventionsgruppe den Kurs etwas besser (Median 1) als die Studierenden der Kontrollgruppe (Median 2), wobei die Bewertung sich an den regul&#228;ren Schulnoten 1&#61;beste Bewertung bis 6&#61;schlechteste Bewertung orientierte. Dieser Unterschied war jedoch nicht signifikant (p&#61;0.487). Dieselbe Tendenz konnte beobachtet werden bei spezifischeren Fragen der Kursbewertung. Der mediane Score f&#252;r die Frage &#8222;Ich w&#252;rde die Lehrveranstaltung wieder besuchen&#8220; lag bei 6 (&#8222;vollst&#228;ndige Zustimmung&#8220;) in der NaNa-Gruppe und bei 5 (&#8222;Zustimmung&#8220;) in der Kontrollgruppe. Die Frage &#8222;Ich habe viel gelernt&#8220; wurde in beiden Gruppen im Median mit 5 (&#8222;Zustimmung&#8220;) bewertet. </Pgraph></TextBlock>
    <TextBlock language="en" linked="yes" name="Discussion">
      <MainHeadline>Discussion</MainHeadline><Pgraph>All subjects in the curriculum of the studies of human medicine which are not primarily focused on clinics, as e.g. biostatistics, have to deal with the same problems. Often missing practical relevance is mentioned. Since many of these subjects are naturally focused on fundamentals (e.g. biochemistry, physics) or methodological aspects, education in these fields should comprise practical elements. These may include innovative technical devices, e.g. virtual reality glasses in cardiology, patient dummies with integrated measurement sensors in emergency medicine, or the application of didactic apps which support the students <TextLink reference="12"></TextLink>, <TextLink reference="13"></TextLink>. Alternatively, activating teaching methods empirically lead to a better understanding of the teaching contents <TextLink reference="2"></TextLink>, <TextLink reference="3"></TextLink>. Our NaNa learning approach explicitly addressed the attention and satisfaction aspects of Keller and Kopp&#8217;s ARCS model <TextLink reference="4"></TextLink>. Also the confidence aspect was considered by means of the repeated examinations (self-control) during the semester. However, the relevance aspect may not be perfectly incorporated in our study. Students in the standard educational group worked on a data example (prevalence of type 2 diabetes mellitus) of higher medical relevance compared to students of the experimental group (differences between students preferring sweets instead of salty munchies).  </Pgraph><Pgraph>Lectures in the field of medical statistics should interconnect the theoretical aspects of study planning, data analysis and interpretation to practice-oriented research questions, data and instruments, respectively, to a special degree. Of course, a major goal is enabling students to critically assess the validity of research articles themselves, but also providing experience with available statistical software should be striven for. The already developed PC-seminar in biostatistics, serving as a framework for the current study, addresses these requirements. Also the medical licensure act 2004 for German physicians defined exactly those demands <TextLink reference="5"></TextLink>, <TextLink reference="14"></TextLink>. The presented NaNa concept extended the well-established PC-seminar and included a self-collection of empirical study data with subsequent analysis in order to increase motivation among the participating students. By incorporating the students already in the data collection process it was expected that this also would have a positive effect on learning success. However, the results showed that there was no significant improvement with respect to both outcomes of the study. In fact, the control group even achieved higher cumulative scores with 113.8 points against 109.0 points in the NaNa group, which corresponds to a moderate effect size. Consequently, students of the control group on average got better grades (1.6 in the control group vs. 2.1 in the NaNa group). In light of the number of participants who have been investigated in the course of this study, it is not possible at that point to conclude that this is a systematic effect. A more comprehensive evaluation of the differences found in our pilot study would require to have larger studies providing more statistical evidence. However, based on mean cumulative score of 110 points (SD 8.9) during the past years (corresponds to an overall grade 2), a total sample size of N&#61;160 students would be required to demonstrate a significant effect of the NaNa intervention assuming the students to improve their results to 114 points (overall grade 1.5) assuming a power of 80&#37; and a two-sided type 1 error of 5&#37;. This could be realized by either extending the observation on multiple semesters or by a multi-centric approach. Such a study, however, has to be scheduled as a cluster-randomized study in order to prevent possible differences of the involved universities <TextLink reference="15"></TextLink>.</Pgraph><Pgraph>Regarding the effect of the NaNa concept on student&#8217;s acceptance there was a slight tendency of the interventional group being superior. The overall rating of the seminar based on regular school grades revealed a higher median score in the NaNa group compared to the control group receiving the standard didactic approach. Likewise, students of the NaNa group answered more convincing to the question whether they would attend the seminar again. </Pgraph><SubHeadline2>Limitations</SubHeadline2><Pgraph>It was not possible to implement our study, as initially planned, as a cluster-randomized study allocating the four seminar groups to either interventions. This was primarily due to organizational reasons (class schedule), but especially because of the limited capacity of the available PC-labs. Both seminar groups taking place on Tuesday provide 24 working places, whereas the seminar groups on Thursday and Friday have only 14 working places available. Randomization would have had the potential drawback that accidently both smaller seminar groups were chosen to apply the NaNa concept. Thus, the theoretically available outcome variables for the interventional group would have been decreased from potentially 48 to 28 values. In light of the fact that the cumulative sum of points following the standard educational concept was constant over the last years, we thought it was rather acceptable to have only 28 values for the control group. Moreover, the comparative analyses summarized in Table 1 <ImgLink imgNo="1" imgType="table"/> showed no difference between both collectives, except for the distribution of semesters. This difference is not surprising, since students of the 6<Superscript>th</Superscript> semester were not able to attend the PC-seminar on Thursday and Friday (both control groups) because of their specific class schedule. </Pgraph><Pgraph>Overall, the sample size in this pilot study is certainly falling short of deriving valid statements from the conducted analyses. Especially the results of the control group referring to the acceptance of the course are not representative relying on only 26 students. However, the control groups&#8217; results regarding learning success are indeed valid since they perfectly match with the cumulative sum of points from earlier semesters. </Pgraph><Pgraph>With respect to the small effects found in this study it is important to note that the grades in biostatistics have been on a high level in the past years. Therefore, it was clear at the outset that distinct improvements in learning success can hardly be achieved. As noted above, a distinctively larger sample would be required in order to demonstrate an improvement in learning success when applying the NaNa concept. Moreover, all study participants attended the data collection in order to get a preferable large data set. As a result of this, however, also students of the control group have experienced activating elements. </Pgraph></TextBlock>
    <TextBlock language="de" linked="yes" name="Diskussion">
      <MainHeadline>Diskussion</MainHeadline><Pgraph>Nahezu alle F&#228;cher des Curriculums im Studiengang Humanmedizin, die wie die Medizinische Biometrie nicht prim&#228;r einen klinischen Fokus haben, sehen sich mehr oder weniger mit denselben Problemen konfrontiert. Oftmals wird fehlende Praxisn&#228;he als Grund genannt. Da viele dieser F&#228;cher nat&#252;rlicherweise auf die Vermittlung von Grundlagen (z.B. Biochemie, Physik) oder methodische Aspekte ausgerichtet sind, sollte die Lehre in diesen F&#228;chern praxisnahe Elemente beinhalten. Dies k&#246;nnen beispielsweise technische Ger&#228;te zur Wissensvermittlung wie Virtual Reality Brillen in der Kardiologie, Patientendummies mit integrierten Messsensoren in der Notfallmedizin oder entsprechende Lern-Apps sein, welche die Studierenden unterst&#252;tzen <TextLink reference="12"></TextLink>, <TextLink reference="13"></TextLink>. Zudem ist der positive Effekt aktivierender Lehrmethoden auf das Verst&#228;ndnis der Lehrinhalte nachweislich belegt <TextLink reference="2"></TextLink>, <TextLink reference="3"></TextLink>. Unser NaNa Lehrkonzept adressiert explizit die <Mark2>attention</Mark2> und <Mark2>satisfaction</Mark2> Aspekte von Keller und Kopp&#8217;s ARCS-Modell <TextLink reference="4"></TextLink>. Au&#223;erdem wurde auch der <Mark2>confidence</Mark2> Aspekt ber&#252;cksichtigt durch die wiederholten Pr&#252;fungen (Selbstkontrolle) w&#228;hrend des Semesters. Allerdings wurde der relevance Aspekt in unserer Studie nicht optimal umgesetzt. Die Studierenden der Kontrollgruppe arbeiteten mit realen Daten (Pr&#228;valenz von Typ 2 Diabetes mellitus) und f&#252;r die Praxis relevanteren Fragestellungen im Vergleich zu den Studierenden der Interventionsgruppe (Unterschiede zwischen Studierenden die S&#252;&#223;igkeiten pr&#228;ferieren anstelle salziger Knabbereien).</Pgraph><Pgraph>Lehrveranstaltungen in Medizinischer Biometrie sollten die theoretischen Aspekte von Studienplanung, Datenanalyse und Interpretation in Bezug setzen zu praxisorientierten Fragestellungen, Daten und Methoden. Nat&#252;rlich ist dabei ein wichtiger Anspruch die Studierenden dazu zu bef&#228;higen selbstst&#228;ndig die Validit&#228;t von Forschungsergebnissen und &#8211;artikeln bewerten zu k&#246;nnen. Vor allem in der heutigen Zeit sollte den Studierenden jedoch auch erm&#246;glicht werden erste Erfahrungen mit Statistiksoftware zu sammeln, da dies f&#252;r die Praxis eine gro&#223;e Relevanz hat. Das bereits entwickelte PC-Seminar in Medizinischer Biometrie, das die Rahmenbedingung f&#252;r die vorgestellte Lehrstudie festlegte, adressiert diese Anforderungen. Auch im Rahmen der &#196;nderung der Approbationsordnung f&#252;r &#196;rzte im Jahre 2004 wurden diese Anforderungen explizit gestellt <TextLink reference="5"></TextLink>, <TextLink reference="14"></TextLink>. Das vorgestellte NaNa-Lehrkonzept erweitert das etablierte PC-Seminar und schlie&#223;t eine Selbsterhebung empirischer Daten inklusive deren anschlie&#223;ender Auswertung mit ein, um die Motivation der Studierenden m&#246;glichst zu steigern. Durch die Involvierung der Studierenden bereits im Prozess der Datenerhebung wurde erhofft, dass dies einen positiven Effekt auf den Lernerfolg hat. Allerdings zeigten die Ergebnisse der Studie, dass keine signifikante Verbesserung hinsichtlich beider Zielgr&#246;&#223;en durch die Lehrintervention erzielt werden konnte. Tats&#228;chlich erreichten die Studierenden der Kontrollgruppe sogar eine h&#246;here kumulierte Punktzahl von durchschnittlich 113.8 Punkten gegen&#252;ber 109.0 Punkten in der NaNa-Gruppe, was einen moderaten Effekt darstellte. Dem entsprechend erzielten die Studierenden der Kontrollgruppe im Mittel auch bessere Noten (1.6 in der Kontrollgruppe gegen&#252;ber 2.1 in der NaNa-Gruppe). Im Hinblick auf die Anzahl der in die Studie eingeschlossenen Teilnehmer ist es an dieser Stelle jedoch nicht m&#246;glich von einem systematischen Effekt zu sprechen. Eine umfangreichere Evaluation der in unserer Pilotstudie gefundenen Resultate w&#228;re notwendig auf der Basis gr&#246;&#223;erer Studienkollektive, die mehr statistische Evidenz mit sich bringen. Allerdings w&#228;re unter Betrachtung der mittleren kumulierten Punktzahl von 110 Punkten (SD 8.9) in den letzten zehn Jahren (entspricht einem Notendurchschnitt von 2.0) eine Gesamtfallzahl von N&#61;160 Studierenden notwendig, um eine signifikante Verbesserung der NaNa-Gruppe auf durchschnittlich 114 Punkte (Notendurchschnitt 1.5) zu erreichen (unter der Annahme eines zweiseitigen Typ 1 Fehlers von 5&#37; und einer Power von 80&#37;). Dies k&#246;nnte durch eine Ausweitung der Studiendauer &#252;ber mehrere Semester hinweg erreicht werden, oder aber &#252;ber einen multizentrischen Ansatz, der jedoch als Cluster-randomisierte Studie durchgef&#252;hrt werden m&#252;sste, um f&#252;r m&#246;gliche Differenzen zwischen den teilnehmenden Universit&#228;ten korrigieren zu k&#246;nnen <TextLink reference="15"></TextLink>. </Pgraph><Pgraph>In Bezug auf den Effekt des NaNa-Konzeptes auf die Akzeptanz der Studierenden gegen&#252;ber unserem Fach konnte die leichte Tendenz einer &#220;berlegenheit der Interventionsgruppe festgestellt werden, welche jedoch statistisch nicht signifikant war. Die Gesamtbewertung des Seminars auf Basis von Schulnoten f&#252;hrte zu einem h&#246;heren Median in der NaNa-Gruppe im Vergleich zur Kontrollgruppe. Ebenso antworteten die Studierenden der NaNa-Gruppe &#252;berzeugender auf Fragen, ob sie das Seminar noch einmal besuchen w&#252;rden. </Pgraph><SubHeadline2>Limitationen</SubHeadline2><Pgraph>Entgegen unserer urspr&#252;nglichen Intention war es nicht m&#246;glich Cluster-randomisierte Studie zu implementieren, in deren Rahmen die vier Seminargruppen zuf&#228;llig auf die zwei Lehrkonzepte randomisiert worden w&#228;ren. Die ist unter anderem auf organisatorische Gr&#252;nde zur&#252;ckzuf&#252;hren (Stundenplan der betreffenden Fachsemester), vor allem jedoch auch aufgrund der limitierten Kapazit&#228;t in den zur Verf&#252;gung stehenden PC-Pools. Beide Seminare am Dienstag bieten Platz f&#252;r maximal 24 Studierende, w&#228;hrend f&#252;r die Seminare am Donnerstag und Freitag nur 14 Arbeitspl&#228;tze verf&#252;gbar sind. Eine Clusterrandomisierung h&#228;tte den potentiellen Nachteil gehabt, dass per Zufall die beiden kleineren Seminargruppen mit dem NaNa-Konzept unterrichtet worden w&#228;ren. Damit h&#228;tten sich die theoretisch m&#246;glichen 48 Beobachtungen f&#252;r die Zielgr&#246;&#223;en in der Interventionsgruppe auf nur 28 Beobachtungen reduziert. Aufgrund der Tatsache, dass die kumulierte Punktzahl unter dem Standardlehransatz in den letzten Jahren konstant war, hielten wir es f&#252;r angemessener die kleinere Fallzahl in der Kontrollgruppe zu haben. Zudem zeigten die Analysen in Tabelle 1 <ImgLink imgNo="1" imgType="table"/> keinen Unterschied zwischen beiden Vergleichsgruppen mit Ausnahme der Fachsemesterverteilung. Dieser Unterschied wiederum ist nicht &#252;berraschend, da die Studierenden des 6. Semesters aufgrund ihres Stundenplans zur Dienstags (Interventionsgruppe) besuchen k&#246;nnen. </Pgraph><Pgraph>Insgesamt ist die Fallzahl dieser Pilotstudie sicherlich zu niedrig, um valide Aussagen aus den Analysen abzuleiten. Insbesondere die Ergebnisse der Kontrollgruppe in Bezug auf die Akzeptanz des Seminars sind mit nur 26 Studierenden nicht repr&#228;sentativ. Allerdings best&#228;tigten die Ergebnisse der Kontrollgruppe im Hinblick auf den Lernerfolg die Beobachtungen der letzten Jahre. </Pgraph><Pgraph>Es ist bez&#252;glich der in dieser Studie gefundenen, kleinen Effekte wichtig zu erw&#228;hnen, dass die Noten im Fach Medizinische Biometrie in den letzten Jahren per se auf einem hohen Level waren. Demzufolge war es von Beginn an klar, dass bedeutsame Verbesserungen des Lernerfolgs kaum erreicht werden k&#246;nnen. Wie bereits erw&#228;hnt w&#228;re eine sehr viel gr&#246;&#223;ere Fallzahl notwendig gewesen, um eine Verbesserung des Lernerfolgs durch das NaNa-Konzept erreichen zu k&#246;nnen. Letztlich nahmen auch alle Studierenden an der Datenerhebung teil, um einen m&#246;glichst umfangreichen Datensatz f&#252;r die NaNa-Gruppe erzeugen zu k&#246;nnen. In Folge dessen machten aber auch alle Studierenden die Erfahrung mit aktivierenden Elementen in der Lehre. </Pgraph></TextBlock>
    <TextBlock language="en" linked="yes" name="Conclusion">
      <MainHeadline>Conclusion</MainHeadline><Pgraph>The present intervention study was not able to confirm the predefined research hypotheses assuming the activating didactic concept to be superior to the standard approach. As expected, it was only found that motivation and qualitative evaluation of the seminar showed a slight tendency of being increased in the NaNa group. However, more extensive data are required to validly assess the effect of self-assessment as an activating teaching method on learning success and acceptance of the subject biostatistics. Future studies may include additional outcome measures, e.g. motivation score tools <TextLink reference="16"></TextLink> enabling a more comprehensive evaluation of the teaching concept. Taking into account all the arguments raised before and in spite of the unverifiable impact of the applied intervention on learning success, education in biostatistics should perpetuate implementing practical examples in order to give students an understanding of the subject&#8217;s relevance.</Pgraph></TextBlock>
    <TextBlock language="de" linked="yes" name="Schlussfolgerung">
      <MainHeadline>Schlussfolgerung</MainHeadline><Pgraph>Die vorgestellte Studie war nicht in der Lage die vorab definierten Forschungshypothesen einer &#220;berlegenheit von Lehrmethoden mit aktivierenden Elementen gegen&#252;ber dem Standardlehransatz zu best&#228;tigen. Erwartungsgem&#228;&#223; konnte nur eine leichte Tendenz in Bezug auf eine verbesserte Motivation der Studierenden in der NaNa-Gruppe festgestellt werden, nicht jedoch im Hinblick auf eine Verbesserung des Lern- und Pr&#252;fungserfolgs. Allerdings sind umfangreichere Daten notwendig, um valide Aussagen &#252;ber die Effektivit&#228;t der Datenselbsterhebung als aktivierendes Lehrelement in Medizinischer Biometrie treffen zu k&#246;nnen. Zuk&#252;nftige Studien sollten zus&#228;tzlich weitere Zielgr&#246;&#223;en mit einschlie&#223;en, wie zum Beispiel andere Scores zur Erfassung der Motivation <TextLink reference="16"></TextLink>, um eine noch umfassendere Evaluierung des Lehrkonzeptes vornehmen zu k&#246;nnen. Werden all die zuvor genannten Argumente zusammengenommen und in Anbetracht des nicht eindeutig bewertbaren Effektes der untersuchten Lehrintervention auf den Lernerfolg, sollte die Lehre in Medizinischer Biometrie weiterhin versuchen eine m&#246;glichst hohe Praxisrelevanz durch die Einbindung von anschaulichen Beispielen zu erzeugen, um den Studierenden die Relevanz des Fachgebiets zu vermitteln. </Pgraph></TextBlock>
    <TextBlock language="en" linked="yes" name="Competing interests">
      <MainHeadline>Competing interests</MainHeadline><Pgraph>This study was funded by the AG Lehrforschung of the Medical Faculty, Ulm University. There are no conflicts of interest for any of the authors. </Pgraph></TextBlock>
    <TextBlock language="de" linked="yes" name="Interessenkonflikt">
      <MainHeadline>Interessenkonflikt</MainHeadline><Pgraph>Diese Studie wurde finanziell unterst&#252;tzt durch die AG Lehrforschung der Medizinischen Fakult&#228;t der Universit&#228;t Ulm. Alle Autoren des Artikels erkl&#228;ren, dass keine Interessenskonflikte bestehen. </Pgraph></TextBlock>
    <References linked="yes">
      <Reference refNo="1">
        <RefAuthor>Kumar D</RefAuthor>
        <RefAuthor>Angurana R</RefAuthor>
        <RefTitle>Impact of epidemiological and statistical skills training in undergraduates</RefTitle>
        <RefYear>2011</RefYear>
        <RefJournal>Med Educ</RefJournal>
        <RefPage>1138</RefPage>
        <RefTotal>Kumar D, Angurana R. Impact of epidemiological and statistical skills training in undergraduates. Med Educ. 2011;45(11):1138. DOI: 10.1111&#47;j.1365-2923.2011.04129.x</RefTotal>
        <RefLink>http:&#47;&#47;dx.doi.org&#47;10.1111&#47;j.1365-2923.2011.04129.x</RefLink>
      </Reference>
      <Reference refNo="2">
        <RefAuthor>Taylor R</RefAuthor>
        <RefAuthor>Reeves B</RefAuthor>
        <RefAuthor>Ewings P</RefAuthor>
        <RefAuthor>Binns S</RefAuthor>
        <RefAuthor>Keast J</RefAuthor>
        <RefAuthor>Mears R</RefAuthor>
        <RefTitle>A systematic review of the effectiveness of critical appraisal skills training for clinicians</RefTitle>
        <RefYear>2000</RefYear>
        <RefJournal>Med Educ</RefJournal>
        <RefPage>120-125</RefPage>
        <RefTotal>Taylor R, Reeves B, Ewings P, Binns S, Keast J, Mears R. A systematic review of the effectiveness of critical appraisal skills training for clinicians. Med Educ. 2000;34(2):120-125. DOI: 10.1046&#47;j.1365-2923.2000.00574.x</RefTotal>
        <RefLink>http:&#47;&#47;dx.doi.org&#47;10.1046&#47;j.1365-2923.2000.00574.x</RefLink>
      </Reference>
      <Reference refNo="3">
        <RefAuthor>Krummenauer F</RefAuthor>
        <RefAuthor>Weiler U</RefAuthor>
        <RefTitle>Gambling kick or content motivation - what is really initialized by the introduction of software into medical biometry lessons&#63;</RefTitle>
        <RefYear>2005</RefYear>
        <RefJournal>GMS Z Med Ausbild</RefJournal>
        <RefPage>Doc56</RefPage>
        <RefTotal>Krummenauer F, Weiler U. Gambling kick or content motivation - what is really initialized by the introduction of software into medical biometry lessons&#63; GMS Z Med Ausbild. 2005;22(3):Doc56. Zug&#228;nglich unter&#47;available from: http:&#47;&#47;www.egms.de&#47;static&#47;de&#47;journals&#47;zma&#47;2005-22&#47;zma000056.shtml</RefTotal>
        <RefLink>http:&#47;&#47;www.egms.de&#47;static&#47;de&#47;journals&#47;zma&#47;2005-22&#47;zma000056.shtml</RefLink>
      </Reference>
      <Reference refNo="4">
        <RefAuthor>Keller JM</RefAuthor>
        <RefAuthor>Kopp TW</RefAuthor>
        <RefTitle>An application of ARCS model of motivational design</RefTitle>
        <RefYear>1987</RefYear>
        <RefBookTitle>Instructional theories in action. Lessons illustrating selected theories and models</RefBookTitle>
        <RefPage>289-320</RefPage>
        <RefTotal>Keller JM, Kopp TW. An application of ARCS model of motivational design. In: Reigeluth CM. (Hrsg), Instructional theories in action. Lessons illustrating selected theories and models. Hillsdale, NJ: Erlbaum, 1987. S.289-320.</RefTotal>
      </Reference>
      <Reference refNo="5">
        <RefAuthor>Muche R</RefAuthor>
        <RefAuthor>Babik T</RefAuthor>
        <RefTitle>Auswahl und Einbindung einer Statistiksoftware im &#34;Lehrprojekt Biometrie&#34; an der Universit&#228;t Ulm</RefTitle>
        <RefYear>2008</RefYear>
        <RefJournal>GMS Med Inform Biom Epidemiol</RefJournal>
        <RefPage>Doc2</RefPage>
        <RefTotal>Muche R, Babik T. Auswahl und Einbindung einer Statistiksoftware im &#34;Lehrprojekt Biometrie&#34; an der Universit&#228;t Ulm. GMS Med Inform Biom Epidemiol. 2008;4(1):Doc2. Zug&#228;nglich unter&#47;available from: http:&#47;&#47;www.egms.de&#47;static&#47;de&#47;journals&#47;mibe&#47;2008-4&#47;mibe000061.shtml</RefTotal>
        <RefLink>http:&#47;&#47;www.egms.de&#47;static&#47;de&#47;journals&#47;mibe&#47;2008-4&#47;mibe000061.shtml</RefLink>
      </Reference>
      <Reference refNo="6">
        <RefAuthor>Wabitsch M</RefAuthor>
        <RefAuthor>Hauner H</RefAuthor>
        <RefAuthor>Hertrampf M</RefAuthor>
        <RefAuthor>Muche R</RefAuthor>
        <RefAuthor>Hay B</RefAuthor>
        <RefAuthor>Mayer H</RefAuthor>
        <RefAuthor>Kratzer W</RefAuthor>
        <RefAuthor>Debatin KM</RefAuthor>
        <RefAuthor>Heinze E</RefAuthor>
        <RefTitle>Type II diabetes mellitus and impaired glucose regulation in Caucasian children and adolescents with obesity living in Germany</RefTitle>
        <RefYear>2004</RefYear>
        <RefJournal>Intern J Obes Relat Metab Disord</RefJournal>
        <RefPage>307-313</RefPage>
        <RefTotal>Wabitsch M, Hauner H, Hertrampf M, Muche R, Hay B, Mayer H, Kratzer W, Debatin KM, Heinze E. Type II diabetes mellitus and impaired glucose regulation in Caucasian children and adolescents with obesity living in Germany. Intern J Obes Relat Metab Disord. 2004;28(2):307-313. DOI: 10.1038&#47;sj.ijo.0802555</RefTotal>
        <RefLink>http:&#47;&#47;dx.doi.org&#47;10.1038&#47;sj.ijo.0802555</RefLink>
      </Reference>
      <Reference refNo="7">
        <RefAuthor>Muche R</RefAuthor>
        <RefAuthor>Janz B</RefAuthor>
        <RefAuthor>Einsiedler B</RefAuthor>
        <RefTitle>Ein (halb-)automatisiertes Pr&#252;fungstool f&#252;r semesterbegleitende Pr&#252;fungen in einem Statistiksoftwarekurs im Medizinstudium</RefTitle>
        <RefYear>2010</RefYear>
        <RefBookTitle>Proceedings der 14. Konferenz der SAS&#174;-Anwender in Forschung und Entwicklung (KSFE)</RefBookTitle>
        <RefPage>175-187</RefPage>
        <RefTotal>Muche R, Janz B, Einsiedler B. Ein (halb-)automatisiertes Pr&#252;fungstool f&#252;r semesterbegleitende Pr&#252;fungen in einem Statistiksoftwarekurs im Medizinstudium. In: Rendtel U, Schirmbacher P, Kao O, Lesener WF, Minkenberg R (Hrsg). Proceedings der 14. Konferenz der SAS&#174;-Anwender in Forschung und Entwicklung (KSFE). Aachen: Shaker Verlag; 2010. S.175-187.</RefTotal>
      </Reference>
      <Reference refNo="8">
        <RefAuthor>Schukajlow S</RefAuthor>
        <RefAuthor>Leiss D</RefAuthor>
        <RefAuthor>Pekrun R</RefAuthor>
        <RefAuthor>Blum W</RefAuthor>
        <RefAuthor>Mueller M</RefAuthor>
        <RefAuthor>Messner R</RefAuthor>
        <RefTitle>Teaching methods for modelling problems and students&#39; task-specific enjoyment, value, interest and self-efficacy expectations</RefTitle>
        <RefYear>2011</RefYear>
        <RefJournal>Educ Stud Mathemat</RefJournal>
        <RefPage>215</RefPage>
        <RefTotal>Schukajlow S, Leiss D, Pekrun R, Blum W, Mueller M, Messner R. Teaching methods for modelling problems and students&#39; task-specific enjoyment, value, interest and self-efficacy expectations. Educ Stud Mathemat. 2011;79(2):215. DOI: 10.1007&#47;s10649-011-9341-2</RefTotal>
        <RefLink>http:&#47;&#47;dx.doi.org&#47;10.1007&#47;s10649-011-9341-2</RefLink>
      </Reference>
      <Reference refNo="9">
        <RefAuthor>Mayer B</RefAuthor>
        <RefAuthor>Ring C</RefAuthor>
        <RefAuthor>Muche R</RefAuthor>
        <RefAuthor>Rothenbacher D</RefAuthor>
        <RefAuthor>Schmidt-Stra&#223;burger U</RefAuthor>
        <RefTitle>A blended learning module in an online master study programme in oncology</RefTitle>
        <RefYear>2015</RefYear>
        <RefJournal>Educ Health</RefJournal>
        <RefPage>1-5</RefPage>
        <RefTotal>Mayer B, Ring C, Muche R, Rothenbacher D, Schmidt-Stra&#223;burger U. A blended learning module in an online master study programme in oncology. Educ Health. 2015;28(1):1-5. DOI: 10.4103&#47;1357-6283.161951</RefTotal>
        <RefLink>http:&#47;&#47;dx.doi.org&#47;10.4103&#47;1357-6283.161951</RefLink>
      </Reference>
      <Reference refNo="10">
        <RefAuthor>Mayer B</RefAuthor>
        <RefAuthor>Danner B</RefAuthor>
        <RefTitle>Von Naschkatzen und Nagetieren &#8211; Eine interaktive Einf&#252;hrung in die Medizinische Biometrie mit der NANA-Studie</RefTitle>
        <RefYear>2014</RefYear>
        <RefBookTitle>Zeig mir Biostatistik&#33; Ideen und Material f&#252;r einen guten Biometrie-Unterricht</RefBookTitle>
        <RefPage>3-14</RefPage>
        <RefTotal>Mayer B, Danner B. Von Naschkatzen und Nagetieren &#8211; Eine interaktive Einf&#252;hrung in die Medizinische Biometrie mit der NANA-Studie. In: Rauch G, Muche R, Vonthein R (Hrsg). Zeig mir Biostatistik&#33; Ideen und Material f&#252;r einen guten Biometrie-Unterricht. Berlin: Springer Verlag, 2014. S.3-14. DOI: 10.1007&#47;978-3-642-54336-4&#95;1</RefTotal>
        <RefLink>http:&#47;&#47;dx.doi.org&#47;10.1007&#47;978-3-642-54336-4&#95;1</RefLink>
      </Reference>
      <Reference refNo="11">
        <RefAuthor>Cohen J</RefAuthor>
        <RefTitle></RefTitle>
        <RefYear>1998</RefYear>
        <RefBookTitle>Statistical Power Analysis for the Behavioral Sciences</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>Cohen J. Statistical Power Analysis for the Behavioral Sciences. 2. Edition. Hillsdale: Lawrence Erlbaum Associates; 1988.</RefTotal>
      </Reference>
      <Reference refNo="12">
        <RefAuthor>Snashall E</RefAuthor>
        <RefAuthor>Hindocha S</RefAuthor>
        <RefTitle>The Use of Smartphone Applications in Medical Education</RefTitle>
        <RefYear>2016</RefYear>
        <RefJournal>Open Med J</RefJournal>
        <RefPage>322-327</RefPage>
        <RefTotal>Snashall E, Hindocha S. The Use of Smartphone Applications in Medical Education. Open Med J. 2016;3:322-327. DOI: 10.2174&#47;1874220301603010322</RefTotal>
        <RefLink>http:&#47;&#47;dx.doi.org&#47;10.2174&#47;1874220301603010322</RefLink>
      </Reference>
      <Reference refNo="13">
        <RefAuthor>Ventola C</RefAuthor>
        <RefTitle>Mobile Devices and Apps for Health Care Professionals: Uses and Benefits</RefTitle>
        <RefYear>2014</RefYear>
        <RefJournal>P T</RefJournal>
        <RefPage>356-364</RefPage>
        <RefTotal>Ventola C. Mobile Devices and Apps for Health Care Professionals: Uses and Benefits. P T. 2014;39(5):356-364.</RefTotal>
      </Reference>
      <Reference refNo="14">
        <RefAuthor>German Federal Ministry for Health</RefAuthor>
        <RefTitle></RefTitle>
        <RefYear>2002</RefYear>
        <RefBookTitle>Medical Licensure Act. Federal Law Gazette</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>German Federal Ministry for Health. Medical Licensure Act. Federal Law Gazette. Berlin: German Federal Ministry for Health; 2002.</RefTotal>
      </Reference>
      <Reference refNo="15">
        <RefAuthor>Dreyhaupt J</RefAuthor>
        <RefAuthor>Mayer B</RefAuthor>
        <RefAuthor>Keis O</RefAuthor>
        <RefAuthor>Oechsner W</RefAuthor>
        <RefAuthor>Muche R</RefAuthor>
        <RefTitle>Cluster-randomized studies in educational research: principles and methodological aspects</RefTitle>
        <RefYear>2017</RefYear>
        <RefJournal>GMS J Med Educ</RefJournal>
        <RefPage>Doc26</RefPage>
        <RefTotal>Dreyhaupt J, Mayer B, Keis O, Oechsner W, Muche R. Cluster-randomized studies in educational research: principles and methodological aspects. GMS J Med Educ. 2017;34(2):Doc26. DOI: 10.3205&#47;zma001103</RefTotal>
        <RefLink>http:&#47;&#47;dx.doi.org&#47;10.3205&#47;zma001103</RefLink>
      </Reference>
      <Reference refNo="16">
        <RefAuthor>Cook DA</RefAuthor>
        <RefAuthor>Castillo RM</RefAuthor>
        <RefAuthor>Gas B</RefAuthor>
        <RefAuthor>Artino AR Jr</RefAuthor>
        <RefTitle>Measuring achievement goal motivation, mindsets and cognitive load: validation of three instruments&#39; scores</RefTitle>
        <RefYear>2017</RefYear>
        <RefJournal>Med Educ</RefJournal>
        <RefPage>1061-1074</RefPage>
        <RefTotal>Cook DA, Castillo RM, Gas B, Artino AR Jr. Measuring achievement goal motivation, mindsets and cognitive load: validation of three instruments&#39; scores. Med Educ. 2017;51(10): 1061-1074. DOI: 10.1111&#47;medu.13405</RefTotal>
        <RefLink>http:&#47;&#47;dx.doi.org&#47;10.1111&#47;medu.13405</RefLink>
      </Reference>
    </References>
    <Media>
      <Tables>
        <Table format="png">
          <MediaNo>1</MediaNo>
          <MediaID language="en">1en</MediaID>
          <MediaID language="de">1de</MediaID>
          <Caption language="en"><Pgraph><Mark1>Table 1: Sample characteristics</Mark1></Pgraph></Caption>
          <Caption language="de"><Pgraph><Mark1>Tabelle 1: Kollektivbeschreibung</Mark1></Pgraph></Caption>
        </Table>
        <NoOfTables>1</NoOfTables>
      </Tables>
      <Figures>
        <Figure format="png" height="512" width="1141">
          <MediaNo>1</MediaNo>
          <MediaID language="en">1en</MediaID>
          <MediaID language="de">1de</MediaID>
          <Caption language="en"><Pgraph><Mark1>Figure 1: Comparison of study groups with respect to attained sum of points (left) and evaluation (grades 1-6) of the seminar (right)</Mark1></Pgraph></Caption>
          <Caption language="de"><Pgraph><Mark1>Abbildung 1: Vergleich der Studiengruppen hinsichtlich der erreichten Gesamtpunktzahl in den Testaten (links) und der Evaluation des Seminars (Noten 1-6, rechts)</Mark1></Pgraph></Caption>
        </Figure>
        <NoOfPictures>1</NoOfPictures>
      </Figures>
      <InlineFigures>
        <NoOfPictures>0</NoOfPictures>
      </InlineFigures>
      <Attachments>
        <NoOfAttachments>0</NoOfAttachments>
      </Attachments>
    </Media>
  </OrigData>
</GmsArticle>