zma001420 10.3205/zma001420 urn:nbn:de:0183-zma0014204 short report Kurzbeitrag Interaktive, fallbasierte Seminare im digitalisierten Blockpraktikum Pädiatrie aus Sicht der Studierenden Heinzmann Heinzmann Andrea A Prof. Dr.

Universitätsklinikum Freiburg, Albert-Ludwigs-Universität, Zentrum für Kinder- und Jugendmedizin, Klinik für Allgemeine Kinder- und Jugendmedizin, Mathildenstr. 1, D-79106 Freiburg, Germany, Phone: +49 (0)761/270-43010, Fax: +49 (0)761/270-44500Universitätsklinikum Freiburg, Albert-Ludwigs-Universität, Zentrum für Kinder- und Jugendmedizin, Klinik für Allgemeine Kinder- und Jugendmedizin, Freiburg, Germany

Universitätsklinikum Freiburg, Albert-Ludwigs-Universität, Zentrum für Kinder- und Jugendmedizin, Klinik für Allgemeine Kinder- und Jugendmedizin, Mathildenstr. 1, 79106 Freiburg, Deutschland, Tel.: +49 (0)761/270-43010, Fax: +49 (0)761/270-44500Universitätsklinikum Freiburg, Albert-Ludwigs-Universität, Zentrum für Kinder- und Jugendmedizin, Klinik für Allgemeine Kinder- und Jugendmedizin, Freiburg, Deutschland

andrea.heinzmann@uniklinik-freiburg.de author Bode Bode Sebastian S

Universitätsklinikum Freiburg, Albert-Ludwigs-Universität, Zentrum für Kinder- und Jugendmedizin, Klinik für Allgemeine Kinder- und Jugendmedizin, Freiburg, Germany

Universitätsklinikum Freiburg, Albert-Ludwigs-Universität, Zentrum für Kinder- und Jugendmedizin, Klinik für Allgemeine Kinder- und Jugendmedizin, Freiburg, Deutschland

sebastian.bode@uniklinik-freiburg.de author Forster Forster Johannes J

Universitätsklinikum Freiburg, Albert-Ludwigs-Universität, Zentrum für Kinder- und Jugendmedizin, Klinik für Allgemeine Kinder- und Jugendmedizin, Freiburg, Germany

Universitätsklinikum Freiburg, Albert-Ludwigs-Universität, Zentrum für Kinder- und Jugendmedizin, Klinik für Allgemeine Kinder- und Jugendmedizin, Freiburg, Deutschland

Forster.MD@web.de author Berger Berger Jan J

Universitätsklinikum Freiburg, Albert-Ludwigs-Universität, Zentrum für Kinder- und Jugendmedizin, Klinik für Allgemeine Kinder- und Jugendmedizin, Freiburg, Germany

Universitätsklinikum Freiburg, Albert-Ludwigs-Universität, Zentrum für Kinder- und Jugendmedizin, Klinik für Allgemeine Kinder- und Jugendmedizin, Freiburg, Deutschland

jan.berger@uniklinik-freiburg.de author German Medical Science GMS Publishing House

Düsseldorf

610 pediatrics interactive learning units formative questions evaluation Pädiatrie interaktive Lerneinheiten formative Fragen Evaluation pediatrics Pädiatrie 20200729 20201126 20201208 20210128 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 38 1 GMS Journal for Medical Education GMS J Med Educ Teaching in times of Covid-19/Lehre in Zeiten von Covid-19 24 Wir berichten über das aufgrund der COVID-19-Pandemie digitalisierte pädiatrische Blockpraktikum. Es wurden neunzehn Seminare aufgezeichnet, die das weite Spektrum der Pädiatrie möglichst umfassend abbilden, und auf der Lernplattform ILIAS in einer Lernsequenz zur Verfügung gestellt. Zur Erhöhung der Aufmerksamkeit und des Lernerfolgs wurden formative Fragen in die Seminare eingestreut. Die Evaluation der Studierenden ergab eine hohe Akzeptanz dieser Lehrveranstaltung. Geschätzt wurden insbesondere die formativen Fragen und die hohe zeitliche Flexibilität. Ein wesentlicher Kritikpunkt war, dass nicht alle Fragen im direkten Anschluss aufgelöst wurden. Die Auflösungen wurden zwischenzeitlich eingefügt. Teile des digitalisierten Blockpraktikums sollen nach entsprechender Überarbeitung daher auch nach Ende der Corona-Beschränkungen im pädiatrischen Blockpraktikum genutzt werden. We report on the pediatric block practice digitized due to the COVID-19 pandemic. Nineteen seminars were recorded, which represent the broad spectrum of pediatrics as comprehensively as possible, and made available on the learning platform ILIAS in a learning sequence. In order to increase attention and learning success formative questions were interspersed into the seminars. The evaluation of the students showed a high acceptance of this course. Especially the formative questions and the high time flexibility were appreciated. A major point of criticism was that not all questions were resolved immediately afterwards. The resolutions were inserted in the meantime. Parts of the digitized block practical course should therefore be used in the pediatric block practical course after the end of the corona restrictions after appropriate revision. IntroductionIn the previous two-week block internship in paediatrics, the students examined patients daily under the supervision of a medical tutor. This is supplemented by a daily debriefing with the tutor, a two-hour observation in a pediatric practice and twelve one-hour seminars. Students also have access to an ELearning unit (pediatric examination methods and standard procedures) on ILIAS, the learning platform of the University of Freiburg.Due to the COVID-19 pandemic a digital course had to be created within a very short time as a complete replacement for the block practical course pediatrics. At the time of planning and implementation, attendance courses and thus bedside teaching were prohibited. In addition, the University of Freiburg recommended asynchronous courses because of concerns about overloading the ILIAS server capacities. EinleitungIm bisherigen zweiwöchigen Blockpraktikum der Pädiatrie untersuchten die Studierenden täglich Patient*innen unter Anleitung eines/r ärztlichen Tutors*in. Ergänzt wird dies durch eine tägliche Nachbesprechung mit dem/r Tutor*in, eine zweistündige Hospitation in einer Kinderarztpraxis und zwölf einstündige Seminare. Den Studierenden steht zudem eine ELearning Einheit (pädiatrische Untersuchungsmethoden und Standardprozeduren) auf ILIAS, der Lernplattform der Universität Freiburg, zur Verfügung.Aufgrund der COVID-19-Pandemie musste innerhalb kürzester Zeit eine digitale Lehrveranstaltung als vollständiger Ersatz für das Blockpraktikum Pädiatrie geschaffen werden. Zum Zeitpunkt der Planung und Umsetzung waren Präsenzveranstaltungen und damit auch Unterricht am Krankenbett untersagt. Zudem wurden von der Universität Freiburg asynchrone Lehrveranstaltungen empfohlen, da Sorge vor einer Überlastung der ILIAS-Serverkapazitäten bestanden. Project descriptionThe twelve seminars that have been held so far have been digitized as interactive learning units (videos). For this purpose, the lecturers received a one-page summary of the most important recommendations for the creation of instructional videos , . This included, for example, the request to record short video segments with a maximum length of 5-15 minutes, as well as the advice not to speak too clearly and deliberately slowly. The most important aspect was the request to ask students questions directly in the seminar, as this repeated testing has been shown to increase the attention and learning success of off- and online courses , , . There was no specification of the question type. Multiple-choice (MC) questions, which had to be answered by the students with a click, as well as open-ended questions, which were to be worked on with a corresponding free text commentary, were possible. The MC questions were solved directly afterwards. In addition, the lecturers were filmed during the audio recording of the seminar in an informal setting and then made visible to the students as "talking heads" in the digitized seminars. In addition, seven new seminars were developed and also digitized to supplement the teaching content that had previously only been taught in practical classes, for example on the normal neurological development of the child and a U9 in a pediatrician's practice (see attachment 1 for a list of all seminars). The seminars were interrupted by formative questions in order to increase the learning effect and attention , . A total of 110 MC and 57 free text questions were used, so that an average of nine questions per seminar were used, in accordance with the recommendations of a study by Cook et al. . The seminars, each lasting about 45 minutes, were divided into five thematic blocks and presented in a clear learning sequence on ILIAS (see figure 1 ). Each block was followed by a summary learning control using MC questions. The evaluation was done via EvaSys©. There were 8 open questions with free text answers and 13 questions with a six-level Lickert scale (fully applicable to not applicable). ProjektbeschreibungDie zwölf bislang in Präsenz gehaltenen Seminare wurden als interaktive Lerneinheiten (Videos) digitalisiert. Hierzu erhielten die Dozierenden eine einseitige Zusammenfassung der wichtigsten Empfehlungen für die Erstellung von Lehrvideos , . Dies beinhaltete beispielsweise die Aufforderung, kurze Videoabschnitte mit einer maximalen Länge von 5-15 Minuten aufzunehmen, sowie den Hinweis, nicht überdeutlich und bewusst langsam zu sprechen. Wichtigster Aspekt war die Aufforderung, den Studierenden direkt im Seminar formativ Fragen zu stellen, da dieses wiederholte Testen nachgewiesenermaßen die Aufmerksamkeit und den Lernerfolg von Off- und Online-Lehrveranstaltungen erhöht , , . Dabei erfolgte keine Vorgabe des Fragentyps. Es waren sowohl Multiple-Choice (MC) Fragen, die von den Studierenden per Klick beantwortet werden mussten, als auch offene Fragen, die durch einen entsprechenden Freitextkommentar bearbeitet werden sollten, möglich. Bei den MC-Fragen erfolgte direkt im Anschluss die Auflösung. Zudem wurden die Dozierenden bei der Tonaufnahme des Seminars in einem informellen Setting gefilmt und anschließend als „Talking head“ in den digitalisierten Seminaren für die Studierenden sichtbar gemacht. Zur Ergänzung der bislang lediglich im praktischen Unterricht vermittelten Lehrinhalte wurden zudem sieben neue Seminare entwickelt und ebenso digitalisiert, so z. B. zur normalen neurologischen Entwicklung des Kindes und einer U9 in einer Kinderarztpraxis (eine Auflistung aller Seminare siehe Anhang 1 ). Die Seminare wurden durch formative Fragen unterbrochen, um wie vorbeschrieben den Lerneffekt und die Aufmerksamkeit zu erhöhen , Insgesamt wurden 110 MC- und 57 Freitextfragen eingesetzt, damit durchschnittlich neun Fragen pro Seminar entsprechend der Empfehlungen einer Studie von Cook et al. . Die Seminare mit einer Dauer von jeweils etwa 45 min wurden in fünf thematische Blöcke aufgeteilt und in einer übersichtlichen Lernsequenz auf ILIAS dargestellt (siehe Abbildung 1 ). Nach jedem Block erfolgte eine summative Lernkontrolle mittels MC-Fragen. Die Evaluation erfolgte über EvaSys©. Es wurden 8 offene Fragen mit Freitextantworten und 13 Fragen mit sechsstufiger Lickert-Skala (trifft voll zu bis trifft gar nicht zu) gestellt. Results150 students – 78% of those originally registered – took part in the course and evaluated it. The digital block internship was evaluated with a mean value (mw) of 1.9 and a median (md) of 2.0, in comparison, the original format was evaluated with an average of 1.7. The students stated that they had learned a lot in the course (mw=2.1, md=2.0) and that they had regularly prepared and followed up (mw=2.5, md=2.0). The working conditions at home were very good for most students with mw=1.8 (md=1.0). The question of whether the changed learning situation was very stressful was answered in the negative with 4.3 (md=5). Only 6% had organized group work with fellow students; 42% wanted to do so.In the free text comments, 25 students indicated that the questions they asked increased their attention and involvement with the course material. Further results of the free text comments are summarized in figure 2 . ErgebnisseEs haben 150 – damit 78% der ursprünglich angemeldeten – Studierenden am Kurs teilgenommen und diesen evaluiert. Das digitale Blockpraktikum wurde mit einem Mittelwert (mw) von 1,9 und einem Median (md) von 2,0 bewertet, im Vergleich dazu wurde das ursprüngliche Format durchschnittlich mit 1.7 evaluiert. Die Studierenden gaben an, in der Lehrveranstaltung viel gelernt (mw=2,1, md=2,0) und sich regelmäßig vor- und nachbereitet zu haben (mw=2,5, md=2,0). Die Arbeitsbedingungen zu Hause waren mit mw=1,8 (md=1,0) für die meisten Studierenden sehr gut. Die Frage, ob die veränderte Lernsituation sehr belastend war, wurde mit mw=4,3 (md=5) eher verneint. Nur 6% hatten eine Gruppenarbeit mit Kommilitonen organisiert; der Wunsch dazu bestand bei 42%.In den Freitextkommentaren gaben 25 Studierende an, dass die eingestreuten Fragen die Aufmerksamkeit und die Auseinandersetzung mit dem Lehrstoff erhöhten. Weitere Ergebnisse der Freitextkommentare sind in Abbildung 2 zusammengefasst. DiscussionIn the student evaluation, the interactive questions in particular were positively emphasized, which subjectively increased attention and the learning effect. Roediger et al. in particular were able to show in several studies that (repetitive) testing can also increase learning success over months , , , , . A randomized study on continuing medical education for postgraduates could not confirm this . However, the studies are not directly comparable with each other due to the large methodological differences.Immediate feedback on MC questions can increase learning success and reduce frustration , . Appropriately, the students complained that some questions were not answered. In the meantime, the seminars have been revised accordingly. A direct comparison of the results of the scattered questions with the summative learning control is unfortunately not possible due to the free text answers in the context of this project and is the content of a future study. DiskussionIn der studentischen Evaluation wurden insbesondere die interaktiven Fragen positiv hervorgehoben, die subjektiv die Aufmerksamkeit und den Lerneffekt erhöhten. Insbesondere Roediger et al. konnten in mehreren Untersuchungen zeigen, dass durch (repetitives) Testen der Lernerfolg auch über Monate hinweg erhöht werden kann , , , , . Eine randomisierte Studie zu einer ärztlichen Fortbildung für Postgraduierte konnte dies hingegen nicht bestätigen . Jedoch sind die Studien aufgrund der großen methodischen Unterschiede nicht direkt miteinander vergleichbar.Ein sofortiges Feedback zu MC Fragen kann den Lernerfolg erhöhen und die Frustration senken , . Passend hierzu wurde die fehlende Beantwortung einiger Fragen von den Studierenden beklagt. Zwischenzeitlich wurden die Seminare entsprechend überarbeitet. Ein direkter Vergleich des Ergebnisses der eingestreuten Fragen mit der summativen Lernkontrolle ist bedingt durch die Freitextantworten im Rahmen dieses Projektes leider nicht möglich und ist Inhalt einer zukünftigen Studie. ConclusionOverall, there was a high level of acceptance of the digitized seminars; in particular, the challenge posed by formally interspersed questions was rated positively by the students. The seminars will therefore be used in the following semester after revision with regard to the resolution of all questions. SchlussfolgerungInsgesamt zeigte sich eine hohe Akzeptanz der digitalisierten Seminare, insbesondere die Herausforderung durch formativ eingestreute Fragen wurden von den Studierenden positiv bewertet. Die Seminare werden daher nach Überarbeitung hinsichtlich der Auflösung aller Fragen auch im folgenden Semester eingesetzt werden. AcknowledgementsWe would like to thank Ms. Nathalie Petersen, Competence Center Teaching Evaluation, Dean of Studies at the Albert-Ludwigs-University of Freiburg, for her support during the evaluation. DanksagungUnser Dank gilt Frau Nathalie Petersen, Kompetenzzentrum Lehrevaluation, Studiendekanat der Albert-Ludwigs-Universität Freiburg, für die Unterstützung bei der Evaluation Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben. Guo PJ Kim J Rubin R How video production affects student engagement: an empirical study of MOOC videos 2014 ACM Press 41-50 Guo PJ, Kim J, Rubin R. How video production affects student engagement: an empirical study of MOOC videos. ACM Press. 2014;41-50. DOI: 10.1145/2556325.2566239 https://doi.org/10.1145/2556325.2566239 Carpenter SK Wilford MM Kornell N Mullaney KM Appearances can be deceiving: instructor fluency increases perceptions of learning without increasing actual learning 2013 Psychon Bull Rev 10 Carpenter SK, Wilford MM, Kornell N, Mullaney KM. Appearances can be deceiving: instructor fluency increases perceptions of learning without increasing actual learning. Psychon Bull Rev. 2013;20(6):1350-1356 DOI: 10.3758/s13423-013-0442-z https://doi.org/10.3758/s13423-013-0442-z Larsen DP Butler AC Roediger HL Test-enhanced learning in medical education 2008 Med Educ 959-966 Larsen DP, Butler AC, Roediger HL. Test-enhanced learning in medical education. Med Educ. 2008;42(10):959-966. DOI: 10.1111/j.1365-2923.2008.03124.x https://doi.org/10.1111/j.1365-2923.2008.03124.x Raupach T Andresen JC Meyer K Strobel L Koziolek M Jung W Brown J Anders S Test-enhanced learning of clinical reasoning: a crossover randomised trial 2016 Med Educ 711-720 Raupach T, Andresen JC, Meyer K, Strobel L, Koziolek M, Jung W, Brown J, Anders S. Test-enhanced learning of clinical reasoning: a crossover randomised trial. Med Educ. 2016;50(7):711-720. DOI: 10.1111/medu.13069 https://doi.org/10.1111/medu.13069 Szpunar KK Khan NY Schacter DL Interpolated memory tests reduce mind wandering and improve learning of online lectures 2013 Proc Natl Acad Sci U S A 6313-6317 Szpunar KK, Khan NY, Schacter DL. Interpolated memory tests reduce mind wandering and improve learning of online lectures. Proc Natl Acad Sci U S A. 2013;110(16):6313-6317. DOI: 10.1073/pnas.1221764110 https://doi.org/10.1073/pnas.1221764110 Szpunar KK Jing HG Schacter DL Overcoming overconfidence in learning from video-recorded lectures: implications of interpolated testing for online education 2014 J App Res Mem Cogn 161-164 Szpunar KK, Jing HG, Schacter DL. Overcoming overconfidence in learning from video-recorded lectures: implications of interpolated testing for online education. J App Res Mem Cogn. 2014;3(3):161-164. DOI: 10.1016/j.jarmac.2014.02.001 https://doi.org/10.1016/j.jarmac.2014.02.001 Yang WA Razo J Persky AM Using Testing as a Learning Tool 2019 Am J Pharm Educ 7324 Yang WA, Razo J, Persky AM. Using Testing as a Learning Tool. Am J Pharm Educ. 2019;83(9):7324. DOI: 10.5688/ajpe7324 https://doi.org/10.5688/ajpe7324 Cook DA Thompson WG Thomas KG Test-enhanced web-based learning: optimizing the number of questions (a randomized crossover trial) 2014 Acad Med 169-175 Cook DA, Thompson WG, Thomas KG. Test-enhanced web-based learning: optimizing the number of questions (a randomized crossover trial). Acad Med. 2014;89(1):169-175. DOI: 10.1097/ACM.0000000000000084 https://doi.org/10.1097/ACM.0000000000000084 Roediger HL Agarwal PK McDaniel MA McDermott KB Test-enhanced learning in the classroom: long-term improvements from quizzing 2011 J Exp Psychol Appl 382-395 Roediger HL, Agarwal PK, McDaniel MA, McDermott KB. Test-enhanced learning in the classroom: long-term improvements from quizzing. J Exp Psychol Appl. 2011;17(4):382-395. DOI: 10.1037/a0026252 https://doi.org/10.1037/a0026252 McConnell MM St-Onge C Young ME The benefits of testing for learning on later performance 2015 Adv Health Sci Educ Theory Pract 305-320 McConnell MM, St-Onge C, Young ME. The benefits of testing for learning on later performance. Adv Health Sci Educ Theory Pract. 2015;20(2):305-320. DOI: 10.1007/s10459-014-9529-1 https://doi.org/10.1007/s10459-014-9529-1 Larsen DP Butler AC Roediger HL Comparative effects of test-enhanced learning and self-explanation on long-term retention 2013 Med Educ 674-682 Larsen DP, Butler AC, Roediger HL. Comparative effects of test-enhanced learning and self-explanation on long-term retention. Med Educ. 2013;47(7):674-682. DOI: 10.1111/medu.12141 https://doi.org/10.1111/medu.12141 DelSignore LA Wolbrink TA Zurakowski D Burns JP Test-Enhanced E-Learning Strategies in Postgraduate Medical Education: A Randomized Cohort Study 2016 J Med Internet Res e299 DelSignore LA, Wolbrink TA, Zurakowski D, Burns JP. Test-Enhanced E-Learning Strategies in Postgraduate Medical Education: A Randomized Cohort Study. J Med Internet Res. 2016;18(11):e299. DOI: 10.2196/jmir.6199 https://doi.org/10.2196/jmir.6199 Butler AC Roediger HL Feedback enhances the positive effects and reduces the negative effects of multiple-choice testing 2008 Mem cognit 604-616 Butler AC, Roediger HL. Feedback enhances the positive effects and reduces the negative effects of multiple-choice testing. Mem cognit. 2008;36(3):604-616. DOI: 10.3758/MC.36.3.604 https://doi.org/10.3758/MC.36.3.604 0

1 1en 1de Figure 1: Complete structure of the pediatric block course on ILIAS. Empty circle: not yet processed. Blue circle: processing started. Circle with a tick: processing completed. Abbildung 1: Komplette Gliederung des Blockpraktikums auf ILIAS. Leerer Kreis: Noch nicht bearbeitet. Blauer Kreis: Bearbeitung begonnen. Kreis mit Haken: Bearbeitung abgeschlossen.

2 2en 2de Figure 2: Number of mentions in free text comments. Multiple answers were possible. Abbildung 2: Anzahl der Nennungen in den Freitextkommentaren. Mehrfachnennungen waren möglich.

2 0 1 1en 1de List of all digitized seminars. In bold are the seminars with additional contents. Auflistung der Seminarthemen des digitalisierten Blockpraktikums Pädiatrie. Fettgedruckt sind die für dieses Semester neu erstellten Inhalte. 1