zma001413 10.3205/zma001413 urn:nbn:de:0183-zma0014136 short report Kurzbeitrag Workshops for developing written exam questions go online: appropriate format according to the participants Workshops zur Erstellung schriftlicher Prüfungsfragen gehen online: geeignetes Format gemäss der Teilnehmenden Anschuetz Anschuetz Wilma W Dr. med.
Universität Bern, Institut für medizinische Lehre, Mittelstr. 43, CH-3012 Bern, SwitzerlandUniversität Bern, Institut für medizinische Lehre, Bern, Switzerland
Universität Bern, Institut für medizinische Lehre, Mittelstr. 43, CH-3012 Bern, SchweizUniversität Bern, Institut für medizinische Lehre, Bern, Schweiz
Wilma.anschuetz@iml.unibe.ch author Wagner Wagner Felicitas F
Universität Bern, Institut für medizinische Lehre, Bern, Switzerland
Universität Bern, Institut für medizinische Lehre, Bern, Schweiz
author Jucker-Kupper Jucker-Kupper Patrick P
Universität Bern, Institut für medizinische Lehre, Bern, Switzerland
Universität Bern, Institut für medizinische Lehre, Bern, Schweiz
author Huwendiek Huwendiek Sören S
Universität Bern, Institut für medizinische Lehre, Bern, Switzerland
Universität Bern, Institut für medizinische Lehre, Bern, Schweiz
author German Medical Science GMS Publishing House
Düsseldorf
 610 workshop online questions development multiple choice medical Workshop online Fragenentwicklung Multiple-Choice Medizin exams Prüfungen 20200731 20201020 20201124 20210128 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 38 1 GMS Journal for Medical Education GMS J Med Educ Teaching in times of Covid-19/Lehre in Zeiten von Covid-19 17 Hintergrund: Während der Corona-Pandemie wurde die Durchführung von Präsenzveranstaltungen erschwert, weshalb zwei geplante Präsenz-Workshops zur Erstellung von Multiple Choice (MC)-Fragen online durchgeführt wurden. Ob sich das Online-Format für die MC-Fragenerstellung eignet ist unseres Wissens bisher nicht beschrieben. Fragestellungen: Die Studie hatte das Ziel, folgende Fragen aus Sicht der Teilnehmenden (TN) zu beantworten: Wie werden die zwei Online-Workshops hinsichtlich der Durchführung bewertet? Eignen sich diese Online-Workshops zur Erstellung von MC-Fragen? Wird das Online- oder Präsenz-Format bevorzugt? Als Mass für die Effizienz wurde betrachtet, ob der erwartete Fragenoutput (Standard von vergleichbaren Präsenz-Workshops) in den Online-Workshops erreicht wurde.Methoden: Im Mai und Juni 2020 wurden zwei Online-Workshops mit insgesamt 24 TN für Schweizer Fachgesellschaften mit SWITCHinteract durchgeführt. Die Rückmeldungen der TN wurden per anonymer Online-Umfrage mit 21 Fragen erhoben.Ergebnisse: 88% der TN nahmen an der freiwilligen Online-Umfrage teil. Die TN waren zufrieden mit der Durchführung und empfanden das Online-Format als geeignet. Die Mehrheit der TN zeigte keine Präferenz für ein bestimmtes Format (Online vs. Präsenz), wobei jedoch im Fall einer Format-Präferenz häufiger das Online-Format angegeben wurde. Der erwartete Fragenoutput wurde in beiden Workshops übertroffen. Als verbesserungswürdig wurden am häufigsten technische Aspekte angegeben. Schlussfolgerung: Anhand der Ergebnisse können Online-Workshops zur MC-Fragenerstellung als ressourcenschonende und effiziente Alternative für Präsenz-Workshops betrachtet werden. Die zunehmende Anwendung und Optimierung von Online-Tools könnte die Umsetzung weiter erleichtern und die Format-Präferenz beeinflussen. Background: The Corona pandemic has made it difficult to conduct face-to-face events, which is why two workshops planned for the development of multiple choice (MC) questions were conducted online. Whether the online format is suitable for MC question development has not yet been described to our knowledge. Questions: The study aimed to answer the following questions from the perspective of the participants: How are the two online workshops evaluated in terms of their implementation? Are these online workshops suitable for developing MC questions? Is the online or face-to-face format preferred? As a measure of efficiency, it was examined whether the expected question output (standard of comparable face-to-face workshops) was achieved in the online workshops.Methods: In May and June 2020, two online workshops with a total of 24 participants were conducted for Swiss professional societies with SWITCHinteract. The participants’ feedback was collected via an anonymous online survey with 21 questions.Results: 88% of the participants took part in the voluntary online survey. The participants were satisfied with the implementation and found the online format suitable. The majority of the participants did not show a preference for a certain format (online vs. face-to-face), although in case of a format preference the online format was indicated more often. The expected question output was exceeded in both workshops. Technical aspects were most frequently cited as requiring improvement. Conclusion: Based on the results, online workshops for MC question development can be considered as a resource-saving and efficient alternative to face-to-face workshops. Increased use and optimization of online tools could further facilitate implementation and influence the format preference. 1. IntroductionThe development of multiple choice (MC) exam questions is a demanding process that can be efficiently carried out in structured face-to-face workshops . During the corona pandemic, face-to-face workshops were made more difficult due to necessary safety concepts, which is why planned in-person workshops were conducted online. Publications on other online events show that they are well suited for knowledge transfer , and offer advantages such as flexibility, as well as time and cost savings , , , which results in a high willingness to participate and acceptance , , , . To our knowledge, there are no studies that have investigated the suitability of an online workshop for MC question development. 1. EinleitungDie Erstellung von Multiple Choice (MC)-Prüfungsfragen ist ein anspruchsvoller Prozess, welcher sich im Rahmen strukturierter Präsenz-Workshops effizient durchführen lässt . Während der Corona-Pandemie wurden Präsenzveranstaltungen aufgrund notwendiger Schutzkonzepte erschwert, weshalb geplante Präsenz-Workshops online durchgeführt wurden. Publikationen zu anderen Onlineveranstaltungen zeigen, dass sie sich gut zur Wissensvermittlung eignen , und Vorteile wie Flexibilität, Zeit- und Kostenersparnis mit sich bringen , , , was in hoher Teilnahmebereitschaft und Akzeptanz resultiert , , , . Nach unserem Wissen existieren keine Studien, welche die Eignung von Online-Workshops für die MC-Fragenerstellung untersucht haben. 2. Research questionsThis study aimed to answer the following questions from the perspective of the participants:How are the two online workshops evaluated in terms of implementation?Are these online workshops suitable for developing MC questions?Is an online or face-to-face format preferred?In terms of efficiency, the following was examined:Is the expected question output in the online workshops achieved? 2. FragestellungenDiese Studie hatte das Ziel, folgende Fragen aus Sicht der Teilnehmenden (TN) zu beantworten:Wie werden die zwei Online-Workshop hinsichtlich Durchführung bewertet?Eignen sich diese Online-Workshops zur Erstellung von MC-Fragen?Wird das Online- oder Präsenz-Format bevorzugt?Als Mass für die Effizienz wurde betrachtet:Wird der erwartete Fragenoutput in den Online-Workshops erreicht? 3. Methods3.1. ProcedureIn May and June 2020, two independent question workshops for Swiss professional societies with a total of 24 participants were conducted online. The same question output was expected as for a face-to-face workshop (see table 1 ). The workshops were conducted with SWITCHinteract [https://www.switch.ch/interact/], an Adobe Connect based online seminar tool, which is recommended for webinars with features such as video conferencing, breakout rooms and screen-share . In the run-up to the seminar, participants were given instructions on how to develop MC questions and set up SWITCHinteract (including test login). The workshops were conducted based on that of face-to-face workshops (see table 2 ).3.2. SurveyAn anonymous online questionnaire (Questback Unipark, [https://www.unipark.com/]) was used to ask the participants about the implementation, suitability and preference of the workshop format. The questionnaire contained five demographic, 17 closed questions with a 6-point Likert scale or matching nominal or ordinal scale and four optional free text questions. The questionnaire was newly developed for this study. The participants received a link to the voluntary survey after the workshop.3.3. AnalysisAll results are presented descriptively. Due to the small number of cases no statistical comparisons were calculated. The free text comments were analyzed with regard to recurring topics. In the following, the results are only presented for those 16 questions that are relevant for the answers to the research questions. 3. Methoden3.1. VorgehenIm Mai und Juni 2020 wurden zwei unabhängige Fragen-Workshops für Schweizer Fachgesellschaften mit insgesamt 24 Teilnehmenden (TN) online durchgeführt. Es wurde der gleiche Fragenoutput erwartet wie bei einem Präsenz-Workshop (siehe Tabelle 1 ). Die Workshops wurden mit SWITCHinteract [https://www.switch.ch/interact/] durchgeführt, ein Adobe Connect basiertes Online-Seminartool, welches mit Funktionen wie Videokonferenz, Breakout rooms und Screen-Share für Webinare empfohlen wird . Im Vorfeld erhielten die TN eine Anleitung zur Erstellung von MC-Fragen und zur Einrichtung von SWITCHinteract (inkl. Testlogin). Der Ablauf der Workshops war an den Ablauf von Präsenz-Workshops angelehnt (siehe Tabelle 2 ).3.2. UmfrageDie TN wurden mit einem anonymen Online-Fragebogen (Questback Unipark, [https://www.unipark.com/]) befragt zu Durchführung, Eignung und Präferenz des Workshop-Formates. Der Fragebogen enthielt 5 demographische, 17 geschlossene Fragen mit 6-stufiger Likert-Skala bzw. passender Nominal- oder Ordinalskala und 4 optionale Freitextfragen. Der Fragebogen wurde für diese Studie neu entwickelt. Die TN erhielten nach dem Workshop einen Link zur freiwilligen Umfrage.3.3. AnalyseAlle Ergebnisse sind deskriptiv dargestellt. Aufgrund der kleinen Fallzahl wurden keine statistischen Vergleiche berechnet. Die Freitextkommentare wurden hinsichtlich wiederkehrender Themen analysiert. Im Folgenden werden nur die Ergebnisse zu denjenigen 16 Fragen dargestellt, welche für die Beantwortung der Fragestellungen relevant sind. 4. ResultsThe response rate was 88% (21/24 participants).4.1. Demography38% of the participants had previous experience as question authors, 14% with question workshops (see table 3 ).4.2. Implementation Overall, the participants rated the implementation (organization, schedule, support, content) as good (see table 4 ).4.3. SuitabilityOn average, the participants were (rather) skeptical in advance whether the virtual implementation was suitable. In the end, the online format and SWITCHinteract were considered suitable on average. The majority of the participants were happy about the elimination of the travel time, which would have added up to 46 hours (see table 5 ). External factors disturbed 43% of participants moderately (see table 6 ). In the free text questions a few aspects were mentioned several times (see table 7 ).4.4. Preference There was no clear preference for a workshop format. The majority of participants saw advantages and disadvantages in both formats (see figure 1 ).4.5. Question outputIn both workshops the expected question output was exceeded (see table 8 ). 4. ErgebnisseDie Rücklaufquote betrug 88% (21/24 Teilnehmende (TN)).4.1. DemografieVorerfahrung als FragenautorIn hatten 38% der TN, 14% mit Fragen-Workshops (siehe Tabelle 3 ).4.2. Durchführung Die Durchführung (Organisation, Ablauf, Betreuung, Inhalt) wurde von den TN insgesamt gut beurteilt (siehe Tabelle 4 ).4.3. EignungDie TN waren im Mittel im Vorfeld (eher) skeptisch, ob die virtuelle Durchführung geeignet sei. Abschliessend wurden das Online-Format und SWITCHinteract im Mittel als geeignet betrachtet. Die Mehrheit der TN war froh über den Wegfall der Reisezeit, die sich insgesamt auf 46h addiert hätte (siehe Tabelle 5 ). Äussere Faktoren störten 43% der TN mässig (siehe Tabelle 6 ). In den Freitextfragen wurden wenige Aspekte mehrfach genannt (siehe Tabelle 7 ).4.4. Präferenz Es zeigte sich keine eindeutige Präferenz eines Workshop-Formates. Die Mehrheit der TN sah Vor- und Nachteile in beiden Formaten (siehe Abbildung 1 ).4.5. FragenoutputIn beiden Workshops wurde der erwartete Fragenoutput übertroffen (siehe Tabelle 8 ). 5. DiscussionThis study examined the suitability of online workshops for the development of MC questions. The participants were satisfied with the implementation and found the online format and the tool used to be suitable, although there were some online skeptics in the run-up to the workshop. A total of 46 hours of travel time was saved, which the majority of participants found to be an advantage. The majority (57%) of the participants showed no preference, 29% preferred an online format and 14% a face-to-face format. The expected question output was exceeded in both workshops. External factors disturbed 43% of the participants moderately. Technical problems were most frequently mentioned as an aspect in need of improvement in the free text questions.With the implementation judged to be good and the online format perceived as suitable, questions 1 and 2 can be answered positively. Together with the high question output, this indicates that the procedure, content and expected output of the face-to-face workshop were transferable to the online format. The reported time savings and related cost and CO2 savings were also described in other publications , , . Our results lead to the conclusion that technical aspects should be optimally prepared (detailed advance information on the online tool, test login, function of microphone/camera/screen share, stable Internet, quiet environment) in order to minimize disruptive factors as much as possible.The majority of the participants did not have a clear format preference, but more participants who stated a preference preferred the online format, which confirms the results of . Limitations of this study are the small number of participants and the fact that it cannot be assessed at this point whether the quality of the questions (performance in exams) is comparably high. Based on the available results, online workshops for the development of MC questions can be regarded as a resource-saving and efficient alternative to face-to-face workshops. In addition to optimal technical preparation, increased use and optimization of online tools could facilitate implementation in the future and influence format preference. 5. DiskussionDiese Studie untersuchte die Eignung von Online-Workshops für die Erstellung von MC-Fragen. Die Teilnehmenden (TN) waren zufrieden mit der Durchführung und empfanden das Online-Format sowie das eingesetzte Tool als geeignet, obwohl es im Vorfeld einige Online-Skeptiker gab. Insgesamt wurden 46h Reisezeit eingespart, was die TN mehrheitlich als Vorteil empfanden. Die Mehrheit (57%) der TN zeigte keine Präferenz, 29% bevorzugten ein Online- und 14% ein Präsenz-Format. Der erwartete Fragenoutput wurde in beiden Workshops übertroffen. Äussere Faktoren störten 43% der TN mässig. Technische Probleme wurden am häufigsten als verbesserungswürdiger Aspekt in den Freitextfragen genannt.Mit der als gut beurteilten Durchführung und dem als geeignet empfundenen Online-Format lassen sich Fragestellung 1 und 2 positiv beantworten. Zusammen mit dem hohen Fragenoutput spricht dies dafür, dass Ablauf, Inhalt und erwarteter Output des Präsenz-Workshops auf das Online-Format übertragbar waren. Die berichtete Zeitersparnis und damit zusammenhängend Kosten- und CO2-Ersparnis wurde auch in anderen Publikation beschrieben , , . Unsere Ergebnisse lassen schlussfolgern, dass technische Aspekte optimal vorbereitet werden sollten (detaillierte Vorabinformation zum Online-Tool, Test-Login, Funktion von Mikrofon/Kamera/Screen-Share, stabiles Internet, ruhige Umgebung) um Störfaktoren möglichst zu minimieren.Die Mehrheit der TN hatte keine klare Format-Präferenz, wobei jedoch mehr TN, welche eine Präferenz nannten, das Online-Format bevorzugten, was die Ergebnisse von bestätigt. Limitationen dieser Studie sind die geringe Anzahl an TN und dass zum jetzigen Zeitpunkt noch nicht beurteilt werden kann ob auch die Qualität der Fragen (Performance in Prüfungen) vergleichbar hoch ist. Anhand der vorliegenden Resultate können Online-Workshops zur Erstellung von MC-Fragen als ressourcenschonende und effiziente Alternative für Präsenz-Workshops betrachtet werden. Neben einer optimalen technischen Vorbereitung könnte auch die zunehmende Anwendung und Optimierung von Online-Tools zukünftig die Umsetzung erleichtern und die Format-Präferenz beeinflussen. AcknowledgementWe would like to thank all participants for their commitment before and during the workshops and for participating in the survey. DanksagungWir bedanken uns bei allen Teilnehmenden für ihr Engagement im Vorfeld und während der Workshops, sowie für die Teilnahme an der Umfrage. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben. Schurter T 2017 Zielführende Erstellung von Prüfungsfragen - gemeinsam geht's besser Schurter T. Zielführende Erstellung von Prüfungsfragen - gemeinsam geht's besser. Bern: Universität Bern, Institut für medizinische Lehre; 2017. Zugänglich unter/available from: https://www.iml.unibe.ch/themen/uebersichten/artikel/erstellung-mc-fragen https://www.iml.unibe.ch/themen/uebersichten/artikel/erstellung-mc-fragen Nadama HH Tennyson M Khajuria A Evaluating the usefulness and utility of a webinar as a platform to educate students on a UK clinical academic programme 2019 J R Coll Physicians Edinb 317-322 Nadama HH, Tennyson M, Khajuria A. Evaluating the usefulness and utility of a webinar as a platform to educate students on a UK clinical academic programme. J R Coll Physicians Edinb. 2019;49(4):317-322. DOI: 10.4997/JRCPE.2019.415 https://doi.org/10.4997/JRCPE.2019.415 Osborne JM Blunden S Evaluating Accessible Sleep Health Information in Rural and Urban Contexts: Delivery Face-to-Face or Online? 2018 Clin Med Insights Pediatr 1179556518815168 Osborne JM, Blunden S. Evaluating Accessible Sleep Health Information in Rural and Urban Contexts: Delivery Face-to-Face or Online? Clin Med Insights Pediatr. 2018;12:1179556518815168. DOI: 10.1177/1179556518815168 https://doi.org/10.1177/1179556518815168 Lopez-Cano M , Morales-Conde, S. Time to be online or time to be present?-Time to join forces 2020 Hernia 1407-1408 Lopez-Cano, M., Morales-Conde, S. Time to be online or time to be present?-Time to join forces. Hernia. 2020;24:1407-1408. DOI: 10.1007/s10029-020-02264-w https://doi.org/10.1007/s10029-020-02264-w Fadlelmola FM Panji S Ahmed AE Ghouila A Akurugu WA Domelevo Entfellner JB Souiai O Mulder N H3ABioNet Research working group as members of the H3Africa Consortium Ten simple rules for organizing a webinar series 2019 PLoS Comput Biol e1006671 Fadlelmola FM, Panji S, Ahmed AE, Ghouila A, Akurugu WA, Domelevo Entfellner JB, Souiai O, Mulder N; H3ABioNet Research working group as members of the H3Africa Consortium. Ten simple rules for organizing a webinar series. PLoS Comput Biol. 2019;15(4):e1006671. DOI: 10.1371/journal.pcbi.1006671 https://doi.org/10.1371/journal.pcbi.1006671 Achakulvisut T Ruangrong T Bilgin I Van Den Bossche S Wyble B Goodman DF Kording KP Improving on legacy conferences by moving online 2020 Elife e57892 Achakulvisut T, Ruangrong T, Bilgin I, Van Den Bossche S, Wyble B, Goodman DF, Kording KP. Improving on legacy conferences by moving online. Elife. 2020;9:e57892. DOI: 10.7554/eLife.57892 https://doi.org/10.7554/eLife.57892 Viglione G How scientific conferences will survive the coronavirus shock 2020 Nature 166-167 Viglione G. How scientific conferences will survive the coronavirus shock. Nature. 2020;582(7811):166-167. DOI: 10.1038/d41586-020-01521-3 https://doi.org/10.1038/d41586-020-01521-3 Castelvecchi D 'Loving the minimal FOMO': First major physics conference to go virtual sees record attendance 2020 Nature 574 Castelvecchi D. 'Loving the minimal FOMO': First major physics conference to go virtual sees record attendance. Nature. 2020;580(7805):574. DOI: 10.1038/d41586-020-01239-2 https://doi.org/10.1038/d41586-020-01239-2 Woolston C Learning to love virtual conferences in the coronavirus era 2020 Nature 135-136 Woolston C. Learning to love virtual conferences in the coronavirus era. Nature. 2020;582(7810):135-136. DOI: 10.1038/d41586-020-01489-0 https://doi.org/10.1038/d41586-020-01489-0 11en1de
Table 1: Implemented workshops Tabelle 1: Durchgeführte Workshops
22en2de
Table 2: Schedule of the workshops Tabelle 2: Ablauf der Workshops
33en3de
Table 3: Demographic data of the participants. All data in percent (rounded). Tabelle 3: Demographische Angaben der Teilnehmenden. Alle Angaben in Prozent (gerundet).
44en4de
Table 4: Assessment of implementation (organization, schedule, support and content) Tabelle 4: Bewertung Durchführung (Organisation, Ablauf, Betreuung und Inhalt)
55en5de
Table 5: Suitability of the workshop format Tabelle 5: Eignung des Workshop-Formats
66en6de
Table 6: Disturbance by external factors. All data in percent of the participants (rounded) Tabelle 6: Störung durch äussere Faktoren. Alle Angaben in Prozent der Teilnehmenden (gerundet)
77en7de
Table 7: Recurring subjects with regard to the research questions. Only aspects are listed, which were mentioned by at least two people. Tabelle 7: Wiederkehrende Themen in Bezug auf die Fragestellungen. Aufgeführt sind nur Aspekte, welche von mindestens zwei Personen genannt wurden.
88en8de
Table 8: Question output Tabelle 8: Fragenoutput
8
1 1en 1de Figure 1: Preferred workshop format. All data in percent (rounded). Abbildung 1: Präferiertes Workshop-Format. Alle Angaben in Prozent (gerundet).
1 0 0