zma001598 10.3205/zma001598 urn:nbn:de:0183-zma0015986 article Artikel Entwicklung und Evaluation eines Virtual-Reality-Trainings in der Notfallmedizin zur Behandlung von Dyspnoe basierend auf Frameworks für Serious Games Rickenbacher-Frey Rickenbacher-Frey Sarah S MD

University Hospital Bern, Inselspital, Department of Emergency Medicine, Freiburgstr. 16c, CH-3010 Bern, Switzerland, Phone: +41 31 632 5701University Hospital Bern, Inselspital, Department of Emergency Medicine, Bern, Switzerland

Universitätsspital Bern, Inselspital, Abteilung für Notfallmedizin, Freiburgstr. 16c, CH-3010 Bern, Schweiz, Tel.: +41 31 632 5701Universitätsspital Bern, Inselspital, Abteilung für Notfallmedizin, Bern, Schweiz

sarah.rickenbacher-frey@ksa.ch author Adam Adam Selina S

University Hospital Bern, Inselspital, Department of Emergency Medicine, Bern, Switzerland

Universitätsspital Bern, Inselspital, Abteilung für Notfallmedizin, Bern, Schweiz

author Exadaktylos Exadaktylos Aristomenis K. AK

University Hospital Bern, Inselspital, Department of Emergency Medicine, Bern, Switzerland

Universitätsspital Bern, Inselspital, Abteilung für Notfallmedizin, Bern, Schweiz

author Müller Müller Martin M

University Hospital Bern, Inselspital, Department of Emergency Medicine, Bern, Switzerland

Universitätsspital Bern, Inselspital, Abteilung für Notfallmedizin, Bern, Schweiz

author Sauter Sauter Thomas C. TC

University Hospital Bern, Inselspital, Department of Emergency Medicine, Bern, Switzerland

Universitätsspital Bern, Inselspital, Abteilung für Notfallmedizin, Bern, Schweiz

author Birrenbach Birrrenbach Tanja T

University Hospital Bern, Inselspital, Department of Emergency Medicine, Bern, Switzerland

Universitätsspital Bern, Inselspital, Abteilung für Notfallmedizin, Bern, Schweiz

author German Medical Science GMS Publishing House

Düsseldorf

610 COVID-19 emergency medicine medical education serious game shortness of breath virtual reality COVID-19 Notfallmedizin medizinische Ausbildung Serious Games Dyspnoe Virtual Reality virtual reality Virtual Reality 20220609 20230107 20230206 2023041720230901 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 40 2 GMS Journal for Medical Education GMS J Med Educ 16 20230901In the original acknowledgement, Tobias Mühling was referred to as an employee of ThreeDee GmbH. Mr. Mühling is not and never was an employee of ThreeDee GmbH but is responsible for the VR-based emergency training STEP-VR from the medical side at the University Hospital Würzburg. 20230901In der ursprünglichen Danksagung wurde Tobias Mühling als Mitarbeiter der ThreeDee GmbH bezeichnet. Herr Mühling ist nicht und war nie Mitarbeiter der ThreeDee GmbH sondern verantwortet das VR-basierte Notfalltraining STEP-VR von medizinischer Seite am Universitätsklinikum Würzburg. University of Bern Hintergrund: Virtual Reality (VR) kann einen innovativen Ansatz in der Ausbildung für Notfallsituationen bieten, insbesondere in Zeiten von COVID-19. Hierbei besteht kein Infektionsrisiko, und das Verfahren ist skalierbar und ressourcenschonend. Allerdings sind die Herausforderungen und Probleme, die bei der Entwicklung von VR-Trainings auftreten können, oft noch unklar oder werden unterschätzt. Wir stellen beispielhaft die Durchführbarkeitsbewertung der Entwicklung eines VR-Trainings vor, das für Trainingszwecke zur Behandlung von Dyspnoe vorgesehen ist. Unsere Bewertung basiert auf Rahmenkonzepten für Serious Games und präsentiert die gewonnenen Erkenntnisse. Wir bewerten die VR-Trainingseinheit hinsichtlich der Benutzerfreundlichkeit und -zufriedenheit sowie hinsichtlich der subjektiven Wirksamkeit und Arbeitsbelastung der Teilnehmenden. Methodik: Das VR-Training wurde anhand des etablierten Rahmenkonzepts (Schritte 1–4) für Serious Games von Verschueren et al. sowie anhand von Nicholsons RECIPE-Elementen für Meaningful Gamification entwickelt. Die primäre Validierung (Schritt 4) erfolgte an der Universität Bern, Schweiz, in einer Pilotstudie ohne Kontrollgruppe mit einer Zufallsstichprobe von Medizinstudierenden (n=16) und etablierten Messinstrumenten. Ergebnisse: Die theoretischen Rahmenkonzepte ermöglichten die zielgerichtete Entwicklung der VR-Trainingseinheit. Die Validierung ergab für die System Usability Scale (SUS) einen Median von 80 (IQR 77,5-85). Für den User Satisfaction Evaluation Questionnaire (USEQ) lag der Median bei 27 (IQR 26-28). Nach dem VR-Training war ein signifikanter Zuwachs an Selbstvertrauen der Teilnehmenden bei der Behandlung von Patienten mit Dyspnoe zu verzeichnen (Median vor dem Training 2 (IQR 2-3) vs. Median nach dem Training 3 (IQR 3-3), p=0,016).Zu den gewonnenen Erkenntnissen gehört die Notwendigkeit, medizinische Experten, medizinisches Lehrpersonal und technische Experten gleichermaßen am gesamten Entwicklungsprozess zu beteiligen. Die Anleitung anhand von Peer-Teaching für das VR-Training war praktikabel.Schlussfolgerung: Die vorgeschlagenen Rahmenkonzepte können wertvolle Hilfsmittel in der gezielten Entwicklung und Validierung von wissenschaftlich fundiertem VR-Training sein. Die neue VR-Trainingseinheit ist einfach und zufriedenstellend in der Anwendung, sie ist effektiv, und darüber hinaus nahezu frei von Anzeichen der Bewegungskrankheit (Kinetosen). Background: Virtual reality (VR) can offer an innovative approach to providing training in emergency situations, especially in times of COVID-19. There is no risk of infection, and the procedure is scalable and resource-efficient. Nevertheless, the challenges and problems that can arise in the development of VR training are often unclear or underestimated. As an example, we present the evaluation of the feasibility of development of a VR training session for the treatment of dyspnoea. This is based on frameworks for serious games, and provides lessons learned. We evaluate the VR training session with respect to usability, satisfaction, as well as perceived effectiveness and workload of participants. Methods: The VR training was developed using the established framework (Steps 1-4) for serious games of Verschueren et al. and Nicholson’s RECIPE elements for meaningful gamification. Primary validation (Step 4) was performed at the University of Bern, Switzerland, in a pilot study without control group, with a convenience sample of medical students (n=16) and established measurement tools. Results: The theoretical frameworks permitted guided development of the VR training session. Validation gave a median System Usability Scale of 80 (IQR 77.5-85); for the User Satisfaction Evaluation Questionnaire, the median score was 27 (IQR 26-28). After the VR training, there was a significant gain in the participants’ confidence in treating a dyspnoeic patient (median pre-training 2 (IQR 2-3) vs. post-training 3 (IQR 3-3), p=0.016).Lessons learned include the need for involving medical experts, medical educators and technical experts at an equivalent level during the entire development process. Peer-teaching guidance for VR training was feasible.Conclusion: The proposed frameworks can be valuable tools to guide the development and validation of scientifically founded VR training. The new VR training session is easy and satisfying to use and is effective – and is almost without motion sickness. BackgroundThe COVID-19 pandemic has had a serious impact on the education of medical students in different countries . The disruption of face-to-face training formats has impaired traditional medical education and is likely to have long-term effects beyond COVID-19 . In particular, students criticise the lack of practical teaching . During the current pandemic, it is critically important to provide instruction in dealing with the dominant leading symptom (dyspnoea). It is however very difficult to teach the requisite practical skills and the approach to the patient, especially in acute medicine; and self-protection and the recommended social distancing are crucial. Simulation-based training has been shown to be a useful modality to supplement training in real clinical situations, as it allows control over the sequence of tasks offered to learners, provides opportunities to offer support and guidance to learners, prevents unsafe and dangerous situations, and can simulate relatively rare tasks . Traditional simulation-based training sessions are highly resource-intense (personal costs, equipment, locations), may be difficult to adapt to an increasing number of students, and cannot be arbitrarily repeated .To avoid these problems, as well as to fulfil the concept of protection and social distancing during the COVID-19 pandemic, new methods of simulation-based education must be developed and incorporated in the curriculum . These new training formats could involve trainees as peer teachers in the training process, as this would increase trainee involvement while reducing costs for trainers, or might use innovative techniques such as virtual reality (VR). Digital transformation in medicine is essential for our digitally experienced students and is also gaining attention within medical schools . VR simulation is a technology that enables the user in real time to explore and manipulate multimedia sensory environments that are both computer-generated and three-dimensional, and thus to gain knowledge that can be applied in clinical practice . There is a growing body of evidence that virtual tools including VR simulation can be engaging and effective for students , . Although at the moment VR is mainly used for teaching anatomy or for training technical skills in surgery, it is also being increasingly applied in procedural and differential diagnostic training in acute medicine , , , , . In the future, VR might offer benefits for learners and educators, by delivering cost-effective, repeatable, scalable, standardised clinical training, independent of time, location, or instructor, and with intermediate virtual feedback . At the moment, VR training programmes are only slowly being implemented in medical education and have not yet become established despite their theoretical advantages. The reasons for this include the lack of widespread availability of head-mounted displays – both at institutions and in private settings – technical inadequacies of the software programmes and the general lack of digital competencies among students and teachers , . Moreover, challenges and problems that can arise in the development of VR training are often unclear or underestimated . The problems here can be insufficient preparatory work, different ideas about workflows and technical possibilities and needs, but also general communication problems between doctors, programmers and medical educators. These are familiar in inter-professional teamwork and are linked to differences in training in the different professions. A recent review of serious games in medical education has emphasised the need for theory-based development, as this can help developers to improve the efficiency of their internal processes and provide objective evidence that they are effective , . We therefore aimed to apply existing theoretical frameworks for the development of a VR training session. And to investigate the lessons learned; evaluate the VR training session with respect to the variables of media use (usability, user satisfaction, immersion, simulator sickness, workload, training efficacy). HintergrundDie COVID-19-Pandemie hatte schwerwiegende Auswirkungen auf die Ausbildung von Medizinstudierenden in verschiedenen Ländern . Die Unterbrechung von Präsenzveranstaltungen hat die traditionelle medizinische Ausbildung beeinträchtigt und wird wahrscheinlich über COVID-19 hinaus langfristige Auswirkungen haben . Studierende kritisieren insbesondere den Mangel an praktischem Unterricht . Während der aktuellen Pandemie ist es von entscheidender Bedeutung, den Umgang mit dem vorherrschenden Leitsymptom (Dyspnoe) zu vermitteln. Es ist jedoch sehr schwierig, die erforderlichen praktischen Fertigkeiten und den Umgang mit Patienten zu vermitteln, insbesondere in der Akutmedizin. Und der Selbstschutz und die empfohlene physische Distanzierung sind von entscheidender Bedeutung. Die simulationsbasierte Ausbildung hat sich aus den folgenden Gründen als nützliche Ergänzung zur Ausbildung in realen klinischen Situationen erwiesen: Sie gestattet die Kontrolle über die Abfolge der Aufgaben, die den Lernenden präsentiert werden, sie bietet Möglichkeiten zur angemessenen Unterstützung und Anleitung der Lernenden, sie verhindert unsichere und gefährliche Situationen und sie kann relativ selten vorkommende Aufgaben simulieren . Herkömmliche simulationsbasierte Schulungen sind sehr ressourcenaufwändig (Personalkosten, Ausrüstung, Räumlichkeiten), lassen sich gegebenenfalls nur schwer an eine steigende Zahl von Studierenden anpassen und können nicht beliebig wiederholt werden .Um diese Probleme zu vermeiden und dem Gedanken des Selbstschutzes und der physischen Distanzierung während der COVID-19-Pandemie Rechnung zu tragen, müssen neue Methoden der simulationsbasierten Ausbildung entwickelt und in das Curriculum aufgenommen werden . Diese neuen Ausbildungsformate könnten angehende Ärzte als Peer-Lehrende in den Ausbildungsprozess einbeziehen, da dies deren Beteiligung erhöhen und gleichzeitig die Kosten für das Lehrpersonal senken würde, oder es könnten innovative Techniken wie die Virtual Reality (VR) eingesetzt werden. Die digitale Transformation in der Medizin ist für unsere digital kompetenten Studierenden unerlässlich und gewinnt auch innerhalb der medizinischen Fakultäten an Aufmerksamkeit . Bei der VR-Simulation handelt es sich um eine Technologie, mit der Benutzer in Echtzeit computergenerierte sensorische 3D-Multimedia-Umgebungen erkunden und manipulieren können, um sich Wissen anzueignen, das in der klinischen Praxis angewendet werden kann . Es gibt immer mehr Belege dafür, dass virtuelle Hilfsmittel wie VR-Simulationen für Studierende involvierend und wirksam sein können , . Obwohl VR derzeit hauptsächlich für die Anatomie-Ausbildung oder für das Training technischer Fertigkeiten in der Chirurgie eingesetzt wird, findet sie auch zunehmend in der Akutmedizin in der praktischen und differentialdiagnostischen Ausbildung Anwendung , , , , . In Zukunft könnte VR Vorteile für Lernende und Lehrende bieten, indem sie eine kostensparende, wiederholbare, skalierbare, standardisierte klinische Ausbildung unabhängig von Zeit, Ort oder Lehrpersonal und mit virtuellem Zwischenfeedback ermöglicht . Zurzeit werden VR-Trainingsprogramme in der medizinischen Ausbildung nur langsam umgesetzt und gehören trotz ihrer theoretischen Vorteile bisher noch nicht zum Ausbildungsalltag. Gründe dafür sind die mangelnde Verfügbarkeit von Head-Mounted-Displays (HMD), und zwar sowohl in Institutionen als auch im privaten Bereich, sowie technische Unzugänglichkeiten der Softwareprogramme und die allgemein fehlende digitale Kompetenz von Studierenden und Lehrpersonal , . Zudem sind die Herausforderungen und Probleme, die bei der Entwicklung von VR-Trainings auftreten können, oft unklar oder werden unterschätzt . Die Probleme können hierbei ungenügende Vorbereitungen, unterschiedliche Vorstellungen über Arbeitsabläufe und technische Möglichkeiten und Anforderungen sein. Es können jedoch auch allgemeine Kommunikationsprobleme zwischen Ärzten, Programmierern und medizinischen Ausbildern bestehen. Solche Probleme sind in der berufsübergreifenden Teamarbeit verbreitet und hängen mit Ausbildungsunterschieden der verschiedenen Berufszweige zusammen. Eine kürzlich erschienene Übersichtsarbeit zu Serious Games in der medizinischen Ausbildung hat die Notwendigkeit einer theoriebasierten Entwicklung hervorgehoben, da dies den Entwicklern helfen kann, die Effizienz ihrer internen Prozesse zu verbessern und objektive Nachweise für ihre Wirksamkeit zu liefern , . Wir hatten somit folgende Ziele: Bestehende theoretische Rahmenkonzepte für die Entwicklung einer VR-Trainingseinheit anzuwenden und gewonnene Erkenntnisse zu analysieren. Die VR-Trainingseinheit hinsichtlich der Variablen der Mediennutzung (Benutzerfreundlichkeit, Benutzerzufriedenheit, Immersion, Simulatorkrankheit, Arbeitsbelastung, Trainingswirksamkeit) zu bewerten. MethodsSettingThe VR simulation was developed and evaluated from January 2020 until May 2021. The Department of Emergency Medicine, Inselspital, Bern University Hospital, and the Virtual Inselspital Simulation Lab in Emergency Telehealth, Bern University, were responsible for teaching concepts (TB, SR, TCS) and for concepts in emergency medicine (TB, SR, TCS). The technical implementation of the project was provided by a German programming company that is specialised in VR in medical education [https://threedee.de/]. The virtual reality simulation training module aims to treat a patient in a virtual emergency room who is suffering from shortness of breath according to a ABCDE approach . The presented training is part of the “STEP.VR” project (Simulation-Based Training of Medical Emergencies for Physicians and Virtual Reality).Framework for development of the VR simulationThe development of the VR simulation was guided by the framework of Verschueren et al. for developing serious games for health . This framework helps in the design of theory-driven, evidence-based serious games for health. Serious games for health are defined as interactive computer applications, with or without significant hardware components, that are challenging, engaging, and which supply the user with expertise that is useful in reality .The framework subsumes five stages (stage 1: scientific foundations, stage 2: design foundations, stage 3: development, stage 4: validation, stage 5: implementation). Each of these has a distinct focus and is implemented by the stakeholders (software developers, medical education specialists, content specialists, and the target audience) within an iterative and repetitive collaborative process. In general, a stakeholder is a person or group that has a vested interest in the course or outcome of a process or project [https://de.wikipedia.org/wiki/Stakeholder].We describe the development of the simulation (stages 1-3), as well as a pilot evaluation in the target population within a peer-teaching setup (stage 4). We also provide an outlook into the planned implementation (stage 5). Stage 1: Scientific foundationsTarget audience and outcome objectivesThe target audience and outcome objectives were identified and defined by the medical education and content experts of Bern University Hospital [http://www.profilesmed.ch/]. Theoretical basisIt was important to have a theoretical basis to guarantee that the development was scientifically sound. The VR training session was therefore developed using an established framework as well as Nicholson's frameworks , .Content validationEach step of the process was critically reviewed by the development team, the team of medical education and content experts, together with selected end users and external experts in medical education and clinical treatment. This ensures that the desired objectives are aligned with the relevant instructional design. Stage 2: Design foundationsGeneral design, meaningful gamification and game mechanics In accordance with Nicholson, elements for meaningful gamification [20] (RECIPE: reflection, engagement, choice, information, play, and exposition) were applied to help guide the development of the simulation. The RECIPE acronym stands for the following elements:Reflection (R): This element is intended to connect the training session to emergency events that happen or might happen to the player in real life.Engagement (EN): The engagement element is related to the creation of a social and engaging learning experience.Choice (C): Relates to the autonomy the player has within the game. This offers the player the ability to unrestrictedly move in the simulation and to decide on meaningful choices, thus reinforcing his/her autonomy and creating the feeling of being responsible for his/her actions.Information (I): Serves to provide the key concepts to the player to help him/her to understand the reasons behind the serious game.Play (P): The “play” element in Nicholson’s approach is defined as “the freedom to explore and fail within boundaries”. The player has freedom in handling the emergency situation and to make choices, which may result, at worst, in a “game over” situation (death of the patient).Exposition (E): Serves to create a meaningful narrative in the immersive simulation.In addition to Nicholson’s scheme, other elements of game mechanics (i.e. rewards and feedback) are used in the VR simulation.Design requirementsDesign requirements (i.e. language) were tailored to the target audience and the demand for a realistic, immersive emergency environment. We therefore sought regular feedback from the technical experts and potential end users. Stage 3: Development The information gathered in stages 1 and 2 was used to create an effective and engaging educative VR tool in an iterative, repetitive process with the key stakeholders (software developers, medical education specialists, content specialists, and the target audience). The storyboard (see attachment 1 ) was created by the specialists in medical education and content in close collaboration with the technical team, in order to ensure technical feasibility. Stage 4: ValidationStudy design and goalWe conducted a prospective feasibility study to investigate thefeasibility of peer teachingvariables of media use (usability, possible side effects, level of immersion, workload, user satisfaction)training effectiveness Outcome measuresVariables of media useVariables of media use were evaluated according to established questionnaires directly after the training session , .Usability was assessed using the System Usability Scale (SUS), which is composed of 10 questions with a five-point Likert attitude scale (range 0 to 100, average score 68) , and the After-Scenario Questionnaire (ASQ) , which assesses the ease of task completion, satisfaction with completion time and satisfaction with supporting information, on a 7 point Likert scale (total score ranges from 1=full satisfaction to 7=poor satisfaction). The User Satisfaction Evaluation Questionnaire (USEQ) has six questions with a five point Likert scale to evaluate user satisfaction (total score ranges from 6=poor satisfaction to 30=excellent satisfaction) . The USEQ and the SUS were used for a differentiated and comprehensive assessment of usability from various dimensions . “Visually-induced motion sickness” was assessed with four items (nausea, headache, blurred vision, dizziness) from the original Simulator Sickness Questionnaire (SSQ) of Kennedy et al. (Likert scale from 1=totally disagree to 5=totally agree) . Presence and immersion in the virtual world were determined according to the 6-item questionnaire developed by Slater, Usoh and Steed (total score ranges from 1=no immersion to 7=full immersion) . Perceived subjective workload on a scale from 0 to 100 was assessed using the NASA-Task Load Index . Overstraining is associated with a total score >60, understraining with a total score of <37 .Measurement of training effectivenessTo evaluate the perceived training effectiveness, we used the Training Evaluation Inventory (TEI) for the outcome dimension; 17 statements on subjective enjoyment, perceived usefulness, perceived difficulty, subjective knowledge gain and attitudes towards training are assessed on a five point Likert scale ranging from 1=totally disagree to 5=totally agree . Furthermore, we compared the participant’s confidence in dealing with a patient presenting with dyspnoea pre- and post-training (measured on a five point Likert scale (ranging from 1=no confidence to 5=high confidence)).ParticipantsWe included a convenience sample of final year medical students from Bern University (n=16), who responded to a call for participation in our study. All participants attended on a voluntary basis and we provided no remuneration. Written consent was obtained for the study and for publication of the study results.Ethical consent and data storageThe Bern Cantonal Ethics Committee (CEC) considered that this study was exempt from approval (BASEC Nr: Req-2020-00970), as the project is not covered by the Human Research Act, article 2, paragraph 1 in Switzerland.All methods were carried out in accordance with relevant guidelines and regulations.Informed Consent to participate was recorded in writing by each participant. The data were collected, analysed and stored in pseudonymised form.Baseline surveyWe collected basic sociodemographic data before the intervention (gender, age, need to wear glasses, dominant hand), as well as information on previous experience in the management of patients presenting with dyspnoea, and regular use of computer games and VR simulations.In addition, participants and peer instructors were able to provide written and oral open feedback on the peer teaching modality.InterventionThe hardware used for this study consisted of an OMEN Gaming Laptop from Bang & Olufsen (HP Development Company, Bremdalvej 8, 7600 Struer, Denmark), as well as the Oculus Rift S tethered head mounted display and controllers (Meta Inc., Menlo Park, California, USA). The VR training sessions were led by a student who was trained as a peer tutor on both the medical content of the simulation and the technical instruction.All participants first underwent a guided 30-minute training session with a training case with a specific task list – in order to familiarise themselves with the VR environment, with a peer tutor available for instructions as needed. Directly afterwards, the participants underwent the study simulation (case: “shortness of breath/dyspnoea”). Data analysis The statistical analysis was performed in STATA 16.1 (StataCorp, The College Station, Texas, USA). Categorical variables were described through the total number in the categories, accompanied by percentage. As multiple variables were not normally distributed (visually and tested by Shapiro Wilk), the distribution of continuous variables is shown with median and interquartile range (IQR). The Wilcoxon signed rank test was used to to compare the change in confidence pre- and post-training. A p value of 0.05 was considered significant. No adjustment for multiple comparison was performed. MethodikAusgangssituationDie VR-Simulation wurde von Januar 2020 bis Mai 2021 entwickelt und ausgewertet. Für die Lehrkonzepte (TB, SR, TCS) und für die notfallmedizinischen Konzepte (TB, SR, TCS) waren die Klinik für Notfallmedizin, Inselspital, Universitätsspital Bern, und das Virtual Inselspital Simulation Lab im Bereich Telenotfallmedizin, Universität Bern, verantwortlich. Die technische Umsetzung des Projekts wurde von einer deutschen Programmieragentur übernommen, die sich auf VR in der medizinischen Ausbildung spezialisiert hat [https://threedee.de/]. Das Trainingsmodul für die Virtual-Reality-Simulation soll in einer virtuellen Notaufnahme nach dem ABCDE-Schema Patienten behandeln, die an Atemnot leiden . Das vorgestellte Training ist Teil des Projekts STEP.VR (Simulation-Based Training of Medical Emergencies for Physicians using Virtual Reality).Rahmenkonzept für die Entwicklung der VR-SimulationDie Entwicklung der VR-Simulation orientierte sich an dem Rahmenkonzept von Verschueren et al. für die Entwicklung von Serious Games im Gesundheitswesen . Dieses Rahmenkonzept ist hilfreich bei der Entwicklung von theorie- und evidenzbasierten Serious Games für das Gesundheitswesen. Serious Games für das Gesundheitswesen sind definiert als interaktive Computeranwendungen mit oder ohne signifikante Hardwarekomponenten, die für Benutzer herausfordernd und involvierend sind und ihnen Kompetenz vermitteln, die für die konkrete Anwendung nützlich ist .Das Rahmenkonzept umfasst fünf Phasen (Phase 1: wissenschaftliche Grundlagen, Phase 2: Konzeptgrundlagen, Phase 3: Entwicklung, Phase 4: Validierung, Phase 5: Umsetzung). Diese Phasen haben jeweils einen bestimmten Schwerpunkt und werden von den Stakeholdern (Softwareentwickler, Experten für die medizinische Ausbildung, Inhaltsexperten und die Zielgruppe) in einem iterativen und repetitiven Prozess kooperativ umgesetzt. Im Allgemeinen handelt es sich bei einem Stakeholder um eine Person oder Gruppe, die ein berechtigtes Interesse am Verlauf oder Ergebnis eines Prozesses oder Projekts hat [https://de.wikipedia.org/wiki/Stakeholder].Wir beschreiben die Entwicklung der Simulation (Phasen 1-3) und nehmen eine Pilotauswertung in der Zielpopulation im Rahmen eines Peer-Teaching-Settings (Phase 4) vor. Wir geben außerdem einen Ausblick auf die geplante Umsetzung (Phase 5). Phase 1: Wissenschaftliche GrundlagenZielgruppe und ErgebniszieleDie Zielgruppe und die Ergebnisziele wurden von den Experten für die medizinische Ausbildung und den Inhaltsexperten des Universitätsspitals Bern bestimmt und definiert [http://www.profilesmed.ch/]. Theoretische GrundlageEs war wichtig, über eine theoretische Grundlage zu verfügen, um zu gewährleisten, dass die Entwicklung wissenschaftlich fundiert ist. Die VR-Trainingseinheit wurde daher unter Verwendung eines etablierten Rahmenkonzepts sowie des Rahmenkonzepts von Nicholson , entwickelt.Validierung der InhalteJeder Schritt des Prozesses wurde vom Entwicklungsteam, dem Expertenteam für die medizinische Ausbildung und Inhalte sowie von ausgewählten Endnutzern und externen Experten für die medizinische Ausbildung und klinische Behandlung kritisch geprüft. Auf diese Weise wird sichergestellt, dass die gewünschten Ziele mit dem entsprechenden Instruktionsdesign in Einklang gebracht werden. Phase 2: KonzeptgrundlagenAllgemeines Konzept, Meaningful Gamification und Spielmechanik: In Anlehnung an Nicholson wurden die Elemente für Meaningful Gamification (RECIPE: Reflection, Engagement, Choice, Information, Play und Exposition) als Orientierungskonzept für die Entwicklung der Simulation verwendet. Das Akronym RECIPE steht für die folgenden Elemente:Reflection (R): Dieses Element soll eine Verbindung zwischen der Trainingseinheit und Notfallereignissen herstellen, die Spielern im realen Leben begegnen oder begegnen könnten.Engagement (EN): Das Element „Engagement“ (Involviertheit) bezieht sich auf die Schaffung einer sozial relevanten und ansprechenden, lebendigen Lernerfahrung.Choice (C): Dieses Element bezieht sich auf die Autonomie, die Spieler im Spiel haben. Es bietet Spielern die Möglichkeit, sich in der Simulation frei zu bewegen und sinnvolle Entscheidungen zu treffen. Dadurch wird die eigene Autonomie gestärkt und das Bewusstsein geschaffen, für das eigene Handeln verantwortlich zu sein.Information (I): Dieses Element dient dazu, Spielern die Schlüsselkonzepte zu vermitteln, um ihnen zu helfen, die Gründe für das Serious Game zu verstehen.Play (P): Das Element „Play“ wird in Nicholsons Ansatz definiert als „die Freiheit, innerhalb fester Grenzen zu erkunden und zu scheitern“. Spieler haben die Freiheit, mit der Notfallsituation umzugehen und Entscheidungen zu treffen, die im schlimmsten Fall zu einer „Game-Over-Situation“ (Tod des Patienten) führen können.Exposition (E): Dieses Element dient dazu, einen sinnvollen Erzählrahmen in der immersiven Simulation zu schaffen.Zusätzlich zu Nicholsons Schema werden in der VR-Simulation weitere Elemente der Spielmechanik (d. h. Belohnungen und Feedback) verwendet.DesignanforderungenDie Designanforderungen (z. B. die Sprache) wurden auf die Zielgruppe und die Anforderung einer realistischen, immersiven Notfallumgebung zugeschnitten. Deshalb haben wir regelmäßig Feedback von den technischen Experten und den potenziellen Endnutzern eingeholt. Phase 3: Entwicklung Die in den Phasen 1 und 2 gesammelten Informationen wurden verwendet, um in einem iterativen und repetitiven Prozess mit den wichtigsten Stakeholdern (Softwareentwickler, Experten für die medizinische Ausbildung, Inhaltsexperten und Zielgruppe) ein wirksames und ansprechendes VR-Tool zu entwickeln. Das Storyboard (siehe Anhang 1 ) wurde von den Experten für die medizinische Ausbildung und den Inhaltsexperten in enger Zusammenarbeit mit dem technischen Team erstellt, um die technische Machbarkeit zu gewährleisten. Phase 4: ValidierungStudiendesign und ZielsetzungWir haben in einer prospektiven Machbarkeitsstudie folgende Fragestellungen untersucht:Durchführbarkeit von Peer-TeachingVariablen der Mediennutzung (Benutzerfreundlichkeit, mögliche Nebenwirkungen, Immersionsgrad, Arbeitsbelastung, Benutzerzufriedenheit)Wirksamkeit des Trainings Messung der ErgebnisseVariablen der MediennutzungDie Variablen der Mediennutzung wurden anhand etablierter Fragebögen direkt nach der Trainingseinheit ausgewertet , .Die Benutzerfreundlichkeit wurde mithilfe der System Usability Scale (SUS) bewertet, die aus 10 Fragen mit einer fünfstufigen Likert-Skala besteht (Bereich 0 bis 100, Durchschnittsscore 68) , und dem After-Scenario Questionnaire (ASQ) , der die Leichtigkeit der Aufgabendurchführung, die Zufriedenheit mit der benötigten Zeit und die Zufriedenheit mit den unterstützenden Informationen auf einer 7-stufigen Likert-Skala bewertet (Gesamtscore reicht von 1=volle Zufriedenheit bis 7=geringe Zufriedenheit). Der User Satisfaction Evaluation Questionnaire (USEQ) umfasst sechs Fragen mit einer fünfstufigen Likert-Skala zur Bewertung der Benutzerzufriedenheit (Gesamtscore reicht von 6=geringe Zufriedenheit bis 30=ausgezeichnete Zufriedenheit) . Der USEQ und der SUS wurden für eine differenzierte und umfassende Bewertung der Benutzerfreundlichkeit in verschiedenen Dimensionen eingesetzt . Eine „visuell induzierte Bewegungskrankheit“ wurde anhand von vier Items (Übelkeit, Kopfschmerzen, verschwommenes Sehen, Schwindel) aus dem ursprünglichen Simulator Sickness Questionnaire (SSQ) von Kennedy et al. bewertet (Likert-Skala von 1=stimme überhaupt nicht zu bis 5=stimme vollkommen zu) . Präsenz und Immersion in der virtuellen Welt wurden anhand des von Slater, Usoh und Steed entwickelten 6-Punkte-Fragebogens ermittelt (Gesamtscore reicht von 1=keine Immersion bis 7=vollständige Immersion) . Die subjektiv empfundene Arbeitsbelastung wurde auf einer Skala von 0 bis 100 anhand des NASA Task Load Index bewertet. Überforderung wird mit einem Gesamtscore von >60, Unterforderung mit einem Gesamtscore von <7 assoziiert .Messung der Wirksamkeit des TrainingsUm die wahrgenommene Wirksamkeit des Trainings zu bewerten, haben wir das Training Evaluation Inventory (TEI) für die Ergebnisdimension verwendet; 17 Aussagen zum subjektiven Spaß, zur wahrgenommenen Nützlichkeit, zur wahrgenommenen Schwierigkeit, zum subjektiven Wissenszuwachs und zu Einstellungen gegenüber dem Training werden auf einer fünfstufigen Likert-Skala von 1=stimme überhaupt nicht zu bis 5=stimme vollkommen zu bewertet. Darüber hinaus haben wir das Selbstvertrauen der Teilnehmenden im Umgang mit einem Patienten mit Dyspnoe vor und nach dem Training verglichen (gemessen auf einer fünfstufigen Likert-Skala [von 1=kein Selbstvertrauen bis 5=hohes Selbstvertrauen]).TeilnehmendeWir haben eine Zufallsstichprobe von Medizinstudierenden im letzten Studienjahr der Universität Bern (n=16) eingeschlossen, die auf einen Aufruf zur Teilnahme an unserer Studie reagierten. Alle Teilnehmenden haben freiwillig teilgenommen, und wir haben keine Vergütung gezahlt. Für die Studie und die Veröffentlichung der Studienergebnisse wurde eine schriftliche Einwilligung eingeholt.Ethische Bewilligung und DatenspeicherungDie Kantonale Ethikkommission Bern (KEK) erachtete diese Studie als bewilligungsfrei (BASEC-Nr.: Req-2020-00970), da das Projekt in der Schweiz nicht unter das Humanforschungsgesetz, Artikel 2, Absatz 1, fällt.Alle Methoden wurden in Übereinstimmung mit den einschlägigen Richtlinien und Vorschriften durchgeführt.Alle Teilnehmenden haben eine schriftliche Einwilligungserklärung zur Teilnahme vorgelegt. Die Daten wurden in pseudonymisierter Form erhoben, ausgewertet und gespeichert.AusgangsdatenerhebungVor dem Eingriff wurden grundlegende soziodemografische Daten erhoben (Geschlecht, Alter, Angewiesenheit auf eine Brille, dominante Hand) sowie Informationen über frühere Erfahrungen bei der Behandlung von Patienten mit Dyspnoe und die regelmäßige Nutzung von Computerspielen und VR-Simulationen.Darüber hinaus konnten die Teilnehmenden und die Peer-Trainer schriftlich und mündlich offenes Feedback zur Peer-Unterrichtsmethode geben.InterventionDie für diese Studie verwendete Hardware bestand aus einem OMEN Gaming-Laptop von Bang & Olufsen (HP Development Company, Bremdalvej 8, 7600 Struer, Dänemark), sowie dem Head-Mounted Display Oculus Rift S und entsprechenden Controllern (Meta Inc., Menlo Park, Kalifornien, USA). Die VR-Trainingseinheiten wurden von einem Studierenden geleitet, der/die als Peer-Tutor sowohl für die medizinischen Inhalte der Simulation als auch für die technische Anleitung geschult wurde.Alle Teilnehmenden nahmen zunächst an einer angeleiteten 30-minütigen Trainingseinheit mit einem Trainingskoffer mit einer spezifischen Aufgabenliste teil, um sich mit der VR-Umgebung vertraut zu machen, wobei ein Peer-Tutor bei Bedarf für Anweisungen zur Verfügung stand. Unmittelbar danach nahmen die Teilnehmenden an der Studiensimulation teil (Fall: „Atemnot/Dyspnoe“). Analyse der Daten Die statistische Analyse erfolgte in STATA 16.1 (StataCorp, The College Station, Texas, USA). Die kategorialen Variablen wurden durch die Gesamtzahl in den Kategorien zusammen mit einem Prozentsatz beschrieben. Da mehrere Variablen nicht normal verteilt waren (visuell und mit Shapiro Wilk-Test), wird die Verteilung der kontinuierlichen Variablen mit Median und Interquartilbereich (IQR) angegeben. Mit dem Wilcoxon-Vorzeichen-Rang-Test wurde die Veränderung des Selbstvertrauens vor und nach dem Training verglichen. Ein p-Wert von 0,05 wurde als signifikant angesehen. Es wurde keine Bereinigung für Mehrfachvergleiche vorgenommen. ResultsStage 1 and 2: Scientific and design foundationsTarget audienceFinal year medical students and junior physicians were identified as the primary target population – because of the unmet need for physical simulation programs during medical school, which is exacerbated by social distancing due to the COVID-19 pandemic.Outcome objectives and theoretical basisThe overall outcome was the ability of the target audience to manage an acutely ill patient autonomously and trustworthily for the first half hour, as required in the Swiss catalogue of learning objectives (PROFILES). This included familiarising users with the emergency environment, and the structured clinical ABCDE approach – in the setting of a patient presenting with acute dyspnoea. The learning objectives and their alignment with Nicholsons’ elements of the RECIPE framework are detailed in table 1 and attachment 1 . Reflection (R)On the one hand, the connection to real life is achieved in VR through the realistic experience of a case that might be observed or experienced in every hospital. On the other hand, virtual debriefing was performed by showing a list of achieved items following the case in the virtual environment and this helps to transfer the learning into practice. There is no personal debriefing after the training with the participant in our specific setting. Depending on the needs of the participants and after embedding in a curriculum, debriefing with a peer tutor or instructor is also possible.Engagement (EN)The physical condition of the virtual patient reacts to the actual treatment and diagnostic choices in relation to the ABCDE approach (see attachment 1, supplement table 2 ), which helps to generate an algorithmic flow , in order to prevent boredom and to constantly stimulate the participant. Creating complex challenges may generate the risk of frustration. To avoid these negative effects, feedback mechanisms and rewards are used extensively (i.e. physical condition improves upon correct actions, which are reflected visually and auditorily. This initiates a diagnostic procedure and promptly generates a medical result, such as taking a blood sample. The results from the blood sample and the correct use of equipment (non-invasive ventilator, ECG, ultrasound) have an engaging effect) .Choice (C)Relates to the autonomy the player has within the game. The correct selection of diagnostic options and thus the application of the correct therapy are decisive for the survival of the patient. As an example, respiratory failure will increase if the patient is not suctioned, does not receive non-invasive ventilation and is not started on inhaled/intravenous therapy. Information (I)Our target audience received teaching on theoretical medical principles during the medical curriculum and the practical application of the VR gear and program during peer tutoring session. Play (P)In the VR simulation, the student has the opportunity to experience the success and consequences of his medical actions without danger to the patient. The player/learner has the opportunity to restart the simulation until success/rewards (successful treatment of the patient) is achieved. Exposition (E)To create a meaningful narrative in the immersive simulation, the experts carefully reviewed the medical content. This scene is part of everyday life in an emergency department and encourages the participant to move, act and treat the patient like an emergency physician but in the immersive world. Stage 3: Development All information gathered in stages 1 and 2 was used in the development of the VR simulation, in an iterative, repetitive process in close cooperation with the key stakeholders (software developers, medical education specialists, content specialists, and the target audience). The storyboard was created by specialists in medical education and content, in close exchange with the software developers, in order to help to ensure feasibility. Probably the most fundamental insight during the development phase is the need for constant intensive exchange between the participants of the development team (educators, content experts and technicians) from the very beginning, as different technical languages are spoken and the previous knowledge and mental models of the planned product do not automatically coincide.For details about the content of the case see attachment 1 ; for the actions necessary for successful treatment, see attachment 1, supplement table 2 ; the evaluation items are described in attachment 1, supplement table 3 . See also a screenshot from the VR application (see attachment, supplement figure 1 ).Stage 4: ValidationStudy sampleIn the pilot evaluation, 16 students were included. Baseline characteristics for all included participants (n=16) are detailed in table 2 .Feasibility of the peer teaching Implementation of the VR training sessions as peer teaching sessions was possible and no problems were reported by participants or peer teachers. The peer support during the VR session was highly appreciated by the participants.Variables of media useThe results of the survey of variables of media use are detailed in table 3 .Training effectivenessThe perceived training effectiveness was measured with the Training Evaluation Inventory and is detailed in table 4 . We found that the participants’ confidence in treating a dyspnoeic patient increased significantly after the VR training session (median pre-training 2 (IQR 2-3) vs. post-training 3 (IQR 3-3), p=0.016). ErgebnissePhasen 1 und 2: Wissenschaftliche und KonzeptgrundlagenZielgruppeMedizinstudierende im letzten Studienjahr und angehende Ärzt*innen wurden als primäre Zielgruppe identifiziert, da ein ungedeckter Bedarf an praktischen Simulationsprogrammen während des Medizinstudiums besteht, der durch die physische Distanzierung aufgrund der COVID-19-Pandemie noch verschärft wird.Zielsetzung und theoretische GrundlageDas Gesamtergebnis war die Fähigkeit der Zielgruppe, einen akut kranken Patienten während der ersten halben Stunde selbständig und zuverlässig zu betreuen, wie es der Schweizer Lernzielkatalog (PROFILES) verlangt. Dazu gehörte auch, dass die Benutzer mit der Notfallumgebung und dem strukturierten klinischen ABCDE-Schema vertraut gemacht wurden, und zwar im Hinblick auf einen Patienten, der sich mit akuter Dyspnoe vorstellt. Die Lernziele und ihre Übereinstimmung mit den Elementen des RECIPE-Rahmenkonzepts von Nicholson sind in Tabelle 1 und Anhang 1 aufgeführt. Reflection (R)Der Bezug zum realen Leben wird in der VR zum einen durch das realistische Erleben eines Falles hergestellt, der in jedem Krankenhaus beobachtet oder erlebt werden kann. Zum anderen erfolgte eine virtuelle Nachbesprechung, bei der im Anschluss an den Fall in der virtuellen Umgebung eine Liste der erreichten Items gezeigt wurde, was die Anwendung des Gelernten in der Praxis erleichtert. Es gibt in unserem spezifischen Setting keine persönliche Nachbesprechung nach dem Training mit den Teilnehmenden. Je nach den Bedürfnissen der Teilnehmenden und nach einer Einbettung in ein Curriculum ist auch eine Nachbesprechung mit einem Peer-Tutor oder VR-Trainer denkbar.Engagement (EN)Die körperliche Verfassung des virtuellen Patienten reagiert auf die tatsächlichen Behandlungs- und Diagnoseentscheidungen in Bezug auf das ABCDE-Schema (siehe Anhang 1, Addendum Tabelle 2 ), das dazu beiträgt, einen algorithmischen Ablauf zu erzeugen , um Langeweile zu vermeiden und die Teilnehmenden konstant zu stimulieren. Die Schaffung komplexer Herausforderungen birgt die Gefahr der Frustration. Um diese negativen Auswirkungen zu vermeiden, werden in großem Umfang Feedbackmechanismen und Belohnungen eingesetzt (d. h. die körperliche Verfassung verbessert sich bei korrekten Handlungen, was visuell und akustisch entsprechend umgesetzt wird). Dadurch wird ein diagnostisches Verfahren eingeleitet und umgehend ein medizinisches Ergebnis produziert, z. B. die Entnahme einer Blutprobe. Die Ergebnisse der Blutprobe und die korrekte Verwendung der medizinischen Geräte (nicht-invasives Beatmungsgerät, EKG, Ultraschall) haben eine involvierende Wirkung .Choice (C)Dieses Element bezieht sich auf die Autonomie, die Spieler im Spiel haben. Die korrekte Auswahl der diagnostischen Möglichkeiten und somit die Anwendung der richtigen Therapie sind für das Überleben des Patienten entscheidend. Beispielsweise verschlimmert sich die respiratorische Insuffizienz, wenn der Patient nicht abgesaugt wird, keine nicht-invasive Beatmung erhält und keine inhalative/intravenöse Therapie eingeleitet wird. Information (I)Unsere Zielgruppe wurde im Rahmen des medizinischen Curriculums in den theoretischen medizinischen Grundlagen unterrichtet, während die praktische Anwendung der VR-Ausrüstung und des Programms im Rahmen von Peer-Tutoring-Sitzungen vermittelt wurde. Play (P)In der VR-Simulation haben Studierende die Möglichkeit, den Erfolg und die Folgen ihres medizinischen Handelns ohne Gefahr für Patienten zu erleben. Spielende/Lernende haben die Möglichkeit, die Simulation erneut zu starten, bis der Erfolg bzw. die entsprechende Belohnung (erfolgreiche Behandlung des Patienten) erreicht ist. Exposition (E)Um eine aussagekräftige Erzählsituation in der immersiven Simulation zu schaffen, überprüften die Experten die medizinischen Inhalte sorgfältig. Diese Situation ist Bestandteil des Alltags in einer Notaufnahme und ermutigt die Teilnehmenden, Bewegungsmuster, Verhaltensweisen und Behandlungsschritte wie ein Notarzt auszuführen, nur eben in der immersiven Welt. Phase 3: Entwicklung Alle in den Phasen 1 und 2 gesammelten Informationen wurden bei der Entwicklung der VR-Simulation in einem iterativen, repetitiven Prozess in enger Zusammenarbeit mit den wichtigsten Stakeholdern (Softwareentwickler, Experten für die medizinische Ausbildung, Inhaltsexperten und Zielgruppe) verwendet. Das Storyboard wurde von Experten für die medizinische Ausbildung und Inhaltsexperten in engem Austausch mit den Softwareentwicklern erstellt, um die Machbarkeit zu gewährleisten. Die wohl grundlegendste Erkenntnis in der Entwicklungsphase besteht darin, dass von Anfang an ein laufender intensiver Austausch zwischen den Beteiligten des Entwicklungsteams (Pädagogen, Inhaltsexperten und Techniker) erforderlich ist, da bei den Fachsprachen Unterschiede bestehen und das Vorwissen und die mentalen Modelle des geplanten Produkts nicht automatisch deckungsgleich sind.Einzelheiten zum Inhalt des Falls sind in Anhang 1 enthalten. Die für eine erfolgreiche Behandlung erforderlichen Maßnahmen sind in Anhang 1, Addendum Tabelle 2 aufgeführt. Die Items zur Bewertung sind in Anhang 1, Addendum Tabelle 3 beschrieben. Siehe auch Screenshot von der VR-Anwendung (siehe im Anhang 1, Addendum Abbildung 1 ).Phase 4: ValidierungStudienpopulationAn der Pilotauswertung nahmen 16 Studierende teil. Die Baseline-Charakteristika aller eingeschlossenen Teilnehmenden (n=16) sind in Tabelle 2 aufgeführt.Durchführbarkeit des Peer-Teachings Die Durchführung der VR-Trainingseinheiten in Form von Peer-Teaching-Sitzungen war möglich, und weder die Teilnehmenden noch die Peer-Trainer berichteten über Probleme. Die Peer-Unterstützung während der VR-Sitzung wurde von den Teilnehmenden sehr positiv bewertet.Variablen der MediennutzungDie Ergebnisse der Befragung zu den Variablen der Mediennutzung sind in Tabelle 3 aufgeführt.Wirksamkeit des TrainingsDie wahrgenommene Wirksamkeit des Trainings wurde mit dem Training Evaluation Inventory gemessen und ist in Tabelle 4 aufgeführt. Es zeigte sich, dass das Vertrauen der Teilnehmenden in die Behandlung von Dyspnoe-Patienten nach der VR-Trainingseinheit signifikant zunahm (Median vor dem Training 2 (IQR 2-3) vs. nach dem Training 3 (IQR 3-3), p=0,016). DiscussionWe describe (I) the framework-based development of a VR training session for dyspnoea and insights into lessons learned during development. Secondly (II), we present the results from our validation study and these confirms good usability, user satisfaction and VR immersion without relevant side effects. Development (I)The use of a structured established framework provided important guidance to the development of this VR training. Aspects of gamification and serious games, such as rewards and a playful approach, with the possibility of making mistakes and learning from them, are brought to the attention of the development team through the use of the corresponding frameworks. Results from our structured development – including initial validation – can be used as a starting point or blueprint to develop future VR simulation training sessions within emergency medicine. This focus on medical education and the theoretical basis are in line with the demands of Gentry et al. .During the whole project, intense and continuous collaboration was required between the technical development team, medical content experts and medical educators. This exchange can be challenging, both because of the different languages employed in the specialities involved, but also because of the aspects of game development that are not normally mastered by medical educators or clinicians. In addition, specific priorities (e.g. educational principles from medical educators) or challenges (e.g. problems in technical realisation) in specific fields may often be unclear. We therefore recommend a co-creation approach with clear goals and responsibilities from the very beginning of the planned project and including medical experts, medical educators and technical experts within a cooperation of equals. The use of frameworks can provide guidance and reduce unnecessary detours and undesirable developments and the associated unnecessary use of human and financial resources. However, this effect cannot yet be quantified.Multiplayer training, although not employed in the present simulation, could further improve the “engagement” component in a VR Simulation. Social engagement – as experienced with multiple players – must be applied with caution, in order to avoid cognitive overload . This cognitive overload has been shown to reduce the effectiveness of training in a similar emergency medicine setting . On the other hand, a team approach is typical and specifically important in emergency medicine . Alternatively, the approach of peer group teaching might contribute to this feeling of engagement and facilitate learning from and with each other. Our VR simulation was tailored to challenge rather than to overwhelm users. The mental workload was measured by the NASA Task Load Index in our validation study and showed that a balanced result was achieved, without excessive or inadequate training. In the future, the aim should be to personalise and adapt the VR simulation to the learner's level of knowledge and performance and thus to avoid frustration. Validation study (II)The general usability, as measured with the System Usability Scale (SUS), was above average. As satisfaction is the key component of usability , we measured user satisfaction with two measurement tools, the After-Scenario Questionnaire (ASQ) and User Satisfaction Evaluation Questionnaire (USEQ) and obtained comparable good results.Those results confirm the successful development using the framework based approach.Simulator sickness was minimal with good level of presence and immersion (Slater Usoh Steed). This high degree of immersion could be achieved with our VR training, although the technical possibilities with standard VR hardware are still limited. In the future, therefore, there may be great potential for further technical developments and improvements in immersion. The influence of maximum realism in VR is currently not clear; this is analogous to physical simulation – where there is an ongoing discussion about whether more realistic high fidelity simulation leads to more effective learning than less realistic low fidelity simulation , . It is known that the emotional state in VR is influenced by the level of immersion and emotions in VR can translate to emotions in real life . A high experience of presence has been previously highlighted as an indicator of systematic cognitive engagement with the contents of the virtual environment, and is an important predictor of experience-based learning .The overall effectiveness of the training was was good, as measured with the Training Evaluation Inventory and was similar in all tested subgroups (enjoyment, usefulness, difficulty, knowledge gain and attitudes towards training). Confidence in the ability to treat an emergency patient with dysponoea was significantly increased, but is still not sufficient. Our training can therefore be a first step on the way to educate students about emergency situations and help to reduce the perceived lack of preparation for an emergency situation, as well as the fear of treating emergency patients , . Nevertheless, integration of this VR training session into an overall multimodal training concept could be useful. We use the VR simulation within a University Emergency Medicine curriculum that includes lecture and physical simulations. In the future, it is also conceivable that a multiplayer VR simulation could be carried out by each student alone from home, in order to enable joint learning in compliance with social distancing and without the disadvantages of travelling and providing space on site.Implementation and dissemination (stage 5): The present publication of the insights gained makes up part of the dissemination process within the development process. Further implementation is currently under evaluation. VR training will be part of a training concept including different modalities of simulation and will most likely include a peer teaching approach according to our presented findings. The final training program is commercially available [https://threedee.de/portfolio/stepvr/]. LimitationsAs regards the validation of the VR training, our study has several limitations: The sample size of our validation is limited and no pre-post testing or comparison with other teaching formats was done. Our validation only covers the lower levels of the Kirkpatrick model of training evaluation . Clinical outcomes as higher levels of training effectiveness are notoriously difficult to achieve and will need further research after broad implementation of the training. However, we applied established and validated tools of assessment to all evaluations – of variables of media use, perceived effectiveness and confidence gained. As the choice of methodology for evaluation must be tailored to the intended purpose of evaluation, the TEI, for example, is validated to investigate whether or not students found training sessions useful and whether they gained knowledge, together with other aspects . Since most of the participants in our validation study do not use VR regularly, we cannot estimate the influence of the novelty effect on the results presented. This novelty effect may lead to overestimation of the perceived benefits of VR in our study. The novelty effect has been little studied in the field of VR-assisted education in general and needs further research.Fundamental technical limitations in the currently available VR technology might also influence the success of training. Examples of this are the lack of haptics or the necessary use of controllers. DiskussionWir beschreiben (I) die auf einem bestimmten Rahmenkonzept basierende Entwicklung eines VR-Trainings für Dyspnoe und zentrale Erkenntnisse aus den während der Entwicklung gemachten Erfahrungen. Zweitens (II) präsentieren wir die Ergebnisse unserer Validierungsstudie, die eine gute Benutzerfreundlichkeit, Benutzerzufriedenheit und VR-Immersion bestätigen, ohne dass relevante Nebenwirkungen zu verzeichnen waren. Entwicklung (I)Die Verwendung eines strukturierten, etablierten Rahmenkonzepts bot wichtige Orientierung in der Entwicklung dieses VR-Trainings. Aspekte der Gamification und von Serious Games wie Belohnungen und ein spielerischer Ansatz mit der Möglichkeit, Fehler zu machen und aus diesen zu lernen, werden dem Entwicklungsteam durch den Einsatz der entsprechenden Rahmenkonzepte vorgestellt. Die Ergebnisse unserer strukturierten Entwicklung, die eine erste Validierung beinhalten, können als Ausgangspunkt oder Grundkonzept für die Entwicklung künftiger Trainingseinheiten anhand von VR-Simulation in der Notfallmedizin verwendet werden. Diese Fokussierung auf die medizinische Ausbildung und die theoretischen Grundlagen entsprechen den Vorgaben von Gentry et al. .Während des gesamten Projekts war eine intensive und kontinuierliche Zusammenarbeit zwischen dem technischen Entwicklungsteam, den Experten für medizinische Inhalte und dem medizinischen Lehrpersonal erforderlich. Dieser Austausch kann eine Herausforderung darstellen, beispielsweise aufgrund der unterschiedlichen Fachsprachen, die in den beteiligten Fachgebieten verwendet werden, sowie aufgrund der Aspekte der Spielentwicklung, die in der Regel nicht vom medizinischen Lehrpersonal oder Klinikärzten beherrscht werden. Darüber hinaus können spezifische Prioritäten (z. B. pädagogische Grundsätze des medizinischen Lehrpersonals) oder Herausforderungen (z. B. Probleme bei der technischen Umsetzung) in bestimmten Bereichen oft unklar sein. Wir empfehlen daher, bereits zu Beginn des geplanten Projekts einen Co-Creation-Ansatz mit klaren Zielen und Zuständigkeiten anzuwenden und hierbei medizinische Experten, medizinisches Lehrpersonal und technische Experten im Rahmen einer gleichberechtigten Zusammenarbeit einzubeziehen. Die Verwendung von Rahmenkonzepten kann Orientierung bieten und unnötige Umwege und Fehlentwicklungen sowie den damit verbundenen unnötigen Einsatz von personellen und finanziellen Ressourcen reduzieren. Dieser Effekt kann jedoch noch nicht quantifiziert werden.Ein Training im Multiplayer-Modus, das in der vorliegenden Simulation jedoch nicht eingesetzt wird, könnte die Komponente des „Engagement“ in einer VR-Simulation weiter verbessern. Soziale Involviertheit, die bei mehreren Spielern vorhanden ist, muss mit Vorsicht angewendet werden, um eine kognitive Überlastung zu vermeiden . Es hat sich gezeigt, dass diese kognitive Überlastung die Wirksamkeit des Trainings in einem ähnlichen notfallmedizinischen Umfeld verringert . Andererseits ist ein Teamansatz in der Notfallmedizin durchaus typisch und besonders wichtig . Alternativ dazu könnte der Ansatz eines Peer-Gruppen-Trainings zu diesem Gefühl der Involviertheit beitragen und das Lernen voneinander und miteinander erleichtern. Unsere VR-Simulation war so konzipiert, dass sie die Benutzer eher herausforderte als überforderte. Die geistige Arbeitsbelastung wurde in unserer Validierungsstudie mit dem NASA Task Load Index gemessen und zeigte, dass ein ausgewogenes Ergebnis erzielt wurde, ohne dass das Training überfordernd oder unzureichend war. Künftig sollte es das Ziel sein, die VR-Simulation zu personalisieren und an den Wissens- und Leistungsstand der Lernenden anzupassen, um dadurch Frustration zu vermeiden. Validierungsstudie (II)Die allgemeine Benutzerfreundlichkeit, die mit der System Usability Scale (SUS) gemessen wurde, war überdurchschnittlich. Da Zufriedenheit die Schlüsselkomponente der Benutzerfreundlichkeit ist , haben wir die Benutzerzufriedenheit mit zwei Messinstrumenten, dem After-Scenario Questionnaire (ASQ) und dem User Satisfaction Evaluation Questionnaire (USEQ) gemessen und vergleichbar gute Ergebnisse erzielt.Diese Ergebnisse bestätigen die erfolgreiche Entwicklung mit dem auf einem Rahmenkonzept basierenden Ansatz.Die Simulatorkrankheit war mit einem guten Maß an Präsenz und Immersion minimal (Slater-Usoh-Steed). Dieser hohe Grad an Immersion konnte mit unserem VR-Training erreicht werden, auch wenn die technischen Möglichkeiten mit VR-Standardhardware noch begrenzt sind. In der Zukunft könnte es daher ein großes Potenzial für weitere technische Entwicklungen und Verbesserungen der Immersion geben. Der Einfluss von maximalem Realismus in VR-Anwendungen ist zurzeit nicht klar. Dieser entspricht im Wesentlichen der physikalischen Simulation, bei der es eine anhaltende Diskussion darüber gibt, ob eine realistischere High-Fidelity-Simulation zu effektiverem Lernen führt als eine weniger realistische Low-Fidelity-Simulation , . Es ist bekannt, dass die emotionale Befindlichkeit in VR-Anwendungen durch den Immersionsgrad beeinflusst wird und dass Emotionen in VR-Anwendungen zu Emotionen im realen Leben führen können . Eine hohe Präsenzerfahrung wurde bereits klar als Indikator für eine systematische kognitive Auseinandersetzung mit den Inhalten der virtuellen Umgebung beschrieben und ist ein wichtiger Prädiktor für erfahrungsbasiertes Lernen .Die mit dem Training Evaluation Inventory gemessene Gesamtwirksamkeit des Trainings war gut und in allen getesteten Untergruppen ähnlich (Spaß, Nützlichkeit, Schwierigkeit, Wissenszuwachs und Einstellung gegenüber dem Training). Das Selbstvertrauen, Notfallpatienten mit Dyspnoe zu behandeln, wurde signifikant erhöht, ist aber immer noch nicht ausreichend. Unser Training kann daher ein erster Schritt auf dem Weg sein, Studierende hinsichtlich Notfallsituationen auszubilden und dazu beizutragen, die subjektiv empfundene mangelnde Vorbereitung auf eine Notfallsituation sowie die Angst vor der Behandlung von Notfallpatienten zu verringern , . Dennoch könnte die Integration dieser VR-Trainingseinheit in ein multimodales Gesamtkonzept sinnvoll sein. Wir verwenden die VR-Simulation im Rahmen eines universitären Curriculums für Notfallmedizin, das Vorlesungen und physische Simulationen umfasst. Für die Zukunft ist auch denkbar, dass eine VR-Simulation im Multiplayer-Modus von Studierenden jeweils allein von zu Hause aus durchgeführt werden kann, um ein gemeinsames Lernen unter Beachtung der physischen Distanzierung und ohne die Nachteile der Anreise und der Bereitstellung von Räumlichkeiten vor Ort zu ermöglichen.Umsetzung und Verbreitung (Phase 5): Die vorliegende Veröffentlichung der gewonnenen Erkenntnisse ist Teil des Verbreitungsprozesses innerhalb des Entwicklungsprozesses. Die weitere Umsetzung wird zurzeit untersucht. Das VR-Training wird Teil eines Ausbildungskonzepts sein, das verschiedene Simulationsmodalitäten umfasst und nach unseren Erkenntnissen höchstwahrscheinlich einen Peer-Teaching-Ansatz beinhalten wird. Das endgültige Trainingsprogramm ist käuflich zu erwerben [https://threedee.de/portfolio/stepvr/]. EinschränkungenHinsichtlich der Validierung des VR-Trainings weist unsere Studie mehrere Einschränkungen auf: Die Stichprobengröße unserer Validierung ist begrenzt und es wurden keine Vorher-Nachher-Tests oder Vergleiche mit anderen Lehrformaten durchgeführt. Unsere Validierung deckt nur die unteren Ebenen des Kirkpatrick-Modells der Trainingsevaluation ab . Klinische Ergebnisse, die höhere Ebenen der Trainingswirksamkeit darstellen, sind bekanntermaßen schwer zu erreichen und müssen nach der breiten Umsetzung des Trainings weiter erforscht werden. Wir haben jedoch bei allen Auswertungen bewährte und validierte Bewertungsinstrumente eingesetzt, die sich auf Variablen der Mediennutzung, der wahrgenommenen Wirksamkeit und des gewonnenen Selbstvertrauens beziehen. Da die Wahl der Auswertungsmethoden auf den beabsichtigten Auswertungszweck zugeschnitten sein muss, wird das TEI beispielsweise validiert, um zu untersuchen, ob die Studierenden die Trainingseinheiten als nützlich empfunden haben und ob sie neben anderen Aspekten einen Wissenszuwachs erfahren haben . Da die meisten Teilnehmenden unserer Validierungsstudie nicht regelmäßig VR nutzen, können wir den Einfluss des Neuheitseffekts auf die konkreten Ergebnisse nicht abschätzen. Dieser Neuheitseffekt könnte dazu führen, dass der wahrgenommene Nutzen von VR in unserer Studie überschätzt wird. Der Neuheitseffekt wurde im Bereich der VR-gestützten Ausbildung im Allgemeinen wenig untersucht und erfordert weitere Forschung.Grundlegende technische Einschränkungen der zurzeit verfügbaren VR-Technologie könnten den Erfolg des Trainings ebenfalls beeinflussen. Beispiele dafür sind das Fehlen von Haptik oder der notwendige Einsatz von Controllern. ConclusionThe applied frameworks can be valuable tools to guide the development and validation of a VR training session - with good usability, high user satisfaction and high perceived effectiveness but hardly any motion sickness. Lessons learned include the need of involving medical experts, medical educators as well as technical experts on an equal level during the entire development process. SchlussfolgerungDie angewendeten Rahmenkonzepte können wertvolle Hilfsmittel für die Entwicklung und Validierung von VR-Trainingseinheiten sein, die eine gute Benutzerfreundlichkeit, hohe Benutzerzufriedenheit und eine hohe wahrgenommene Wirksamkeit bieten und kaum Kinetose-Symptome verursachen. Zu den gewonnenen Erkenntnissen gehört die Notwendigkeit, medizinische Experten und medizinisches Lehrpersonal sowie technische Experten gleichberechtigt am gesamten Entwicklungsprozess zu beteiligen. DeclarationsEthics approval and consent to participateThe Cantonal Ethics Committee Berne (KEK) deemed this study to be exempt from approval (BASEC No: Req-2020-00970), as the project is not covered by the Human Research Act, Article 2, Paragraph 1 in Switzerland.All methods were carried out in accordance with relevant guidelines and regulations.Informed consent to participate was recorded in writing by each participant.Consent for publicationWritten informed consent for publication was obtained from all participants. Availability of data and materials The data were collected, analyzed and stored in pseudonymised form. All data generated or analyzed during this study are included in this published article and its supplementary information files (see attachment 1 ). All methods were carried out in accordance with relevant guidelines and regulations.Authors contributionsSR responsible for conceptualisation, investigation, methodology, writing the original draft and writing, reviewing and editing. SA was responsible for investigation and writing, reviewing and editing. AE was involved in conceptualisation, writing, reviewing and editing. MM was responsible for data curation, formal analysis, writing, reviewing and editing. TCS was responsible for conceptualisation, data curation, investigation, formal analysis, methodology, project administration, supervision, writing the original draft, writing reviewing and editing and contributed equally to this work with TB. TB was responsible for conceptualisation, data curation, investigation, formal analysis, methodology, project administration, supervision, writing the original draft, writing, reviewing and editing and contributed equally to this work with TCS.FundingThe present manuscript is partially funded by the University of Bern. ErklärungenEthische Genehmigung und Zustimmung zur TeilnahmeDie Kantonale Ethikkommission Bern (KEK) erachtete diese Studie als bewilligungsfrei (BASEC-Nr.: Req-2020-00970), da das Projekt in der Schweiz nicht unter das Humanforschungsgesetz, Artikel 2, Absatz 1, fällt.Alle Methoden wurden in Übereinstimmung mit den einschlägigen Richtlinien und Vorschriften durchgeführt.Alle Teilnehmenden haben eine schriftliche Einwilligungserklärung zur Teilnahme vorgelegt.Zustimmung zur VeröffentlichungVon allen Teilnehmenden wurde eine schriftliche Einwilligungserklärung zur Veröffentlichung eingeholt. Verfügbarkeit von Daten und Materialien Die Daten wurden in pseudonymisierter Form erhoben, ausgewertet und gespeichert. Alle im Rahmen dieser Studie gewonnenen oder analysierten Daten sind in diesem veröffentlichten Artikel und den ergänzenden Informationsdateien (siehe Anhang 1 ) enthalten. Alle Methoden wurden in Übereinstimmung mit den einschlägigen Richtlinien und Vorschriften durchgeführt.Beiträge der Autoren/AutorinnenSR war für Konzeption, Recherche, Methodik, Verfassen des ursprünglichen Entwurfs und für Schreiben, Überarbeitung und Endredaktion zuständig. SA war für Recherche und für Schreiben, Überarbeitung und Endredaktion zuständig. AE war an der Konzeption, am Schreiben, an der Überarbeitung und an der Endredaktion beteiligt. MM war für Datenpflege, formale Analyse, Schreiben, Überarbeitung und Endredaktion zuständig. TCS war für Konzeption, Datenpflege, Recherche, formale Analyse, Methodik, Projektverwaltung, Projektbetreuung, Verfassen des ursprünglichen Entwurfs, schriftliche Überarbeitung und Endredaktion zuständig und war zusammen mit TB Ko-Erstautor dieser Arbeit. TB war für Konzeption, Datenpflege, Recherche, formale Analyse, Methodik, Projektverwaltung, Projektbetreuung, Verfassen des ursprünglichen Entwurfs, Schreiben, die Überarbeitung und Endreaktion zuständig und war zusammen mit TCS Ko-Erstautorin dieser Arbeit.FinanzierungDas vorliegende Manuskript wurde teilweise von der Universität Bern finanziert. AcknowledgementsThe authors would like to thank the development team of ThreeDee in Munich, especially Philip Balonier, and Tobias Mühling from the University Hospital Würzburg for their help in implementing the training scenario. We express our thanks to the Touring Club Switzerland for supporting telehealth at the University of Bern. DanksagungDie Autor*innen danken dem Entwickler*innenteam von ThreeDee in München, insbesondere Philip Balonier, des weiteren Tobias Mühling vom Universitätsklinikum Würzburg für Hilfe bei der Implementierung des Trainingsszenarios.Wir danken dem Touring Club Schweiz für die Unterstützung der Telemedizin an der Universität Bern. Competing interestsTCS holds an endowed professorship for emergency telehealth at the University of Bern supported by the Touring Club Switzerland. The sponsor has no influence on the research conducted or the decision to publish.The authors declare that they have no competing interests. InteressenkonfliktTCS hat eine vom Touring Club Schweiz unterstützte Stiftungsprofessur für Telenotfallmedizin an der Universität Bern. Der Sponsor hat keinen Einfluss auf die durchgeführte Forschung oder die Entscheidung zur Veröffentlichung.Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben. Lu H Stratton CW Tang YW Outbreak of Pneumonia of Unknown Etiology in Wuhan, China: The Mystery and the Miracle 2020 J Med Virol 401-402 Lu H, Stratton CW, Tang YW. Outbreak of Pneumonia of Unknown Etiology in Wuhan, China: The Mystery and the Miracle. J Med Virol. 2020;92(4):401-402. DOI: 10.1002/jmv.25678 https://doi.org/10.1002/jmv.25678 Ferrel MN Ryan JJ The Impact of COVID-19 on Medical Education 2020 Cureus e7492 Ferrel MN, Ryan JJ. The Impact of COVID-19 on Medical Education. Cureus. 2020;12(3):e7492. DOI: 10.7759/cureus.7492 https://doi.org/10.7759/cureus.7492 Sharma D Bhaskar S Addressing the Covid-19 Burden on Medical Education and Training: The Role of Telemedicine and Tele-Education During and Beyond the Pandemic 2020 Front Public Health 589669 Sharma D, Bhaskar S. Addressing the Covid-19 Burden on Medical Education and Training: The Role of Telemedicine and Tele-Education During and Beyond the Pandemic. Front Public Health. 2020;8:589669. DOI: 10.3389/fpubh.2020.589669 https://doi.org/10.3389/fpubh.2020.589669 So HY Chen PP Wong GK Chan TT Simulation in Medical Education 2019 J R Coll Physicians Edinb 52-57 So HY, Chen PP, Wong GK, Chan TT. Simulation in Medical Education. J R Coll Physicians Edinb. 2019;49(1):52-57. DOI: 10.4997/JRCPE.2019.112 https://doi.org/10.4997/JRCPE.2019.112 Pottle J Virtual Reality and the Transformation of Medical Education 2019 Future Healthc J 181-185 Pottle J. Virtual Reality and the Transformation of Medical Education. Future Healthc J. 2019;6(3):181-185. DOI: 10.7861/fhj.2019-0036 https://doi.org/10.7861/fhj.2019-0036 Singh RP Javaid M Kataria R Tyagi M Haleem A Suman R Significant Applications of Virtual Reality for COVID-19 Pandemic 2020 Diabetes Metab Syndr 661-664 Singh RP, Javaid M, Kataria R, Tyagi M, Haleem A, Suman R. Significant Applications of Virtual Reality for COVID-19 Pandemic. Diabetes Metab Syndr. 2020;14(4):661-664. DOI: 10.1016/j.dsx.2020.05.011 https://doi.org/10.1016/j.dsx.2020.05.011 Hautz SC Hoffmann M Exadaktylos AK Hautz WE Sauter TC Digital Competencies in Medical Education in Switzerland: An Overview of the Current Situation 2020 GMS J Med Educ Doc62 Hautz SC, Hoffmann M, Exadaktylos AK, Hautz WE, Sauter TC. Digital Competencies in Medical Education in Switzerland: An Overview of the Current Situation. GMS J Med Educ. 2020;37(6):Doc62. DOI: 10.3205/zma001355 https://doi.org/10.3205/zma001355 Kyaw BM Saxena N Posadzki P Vseteckova J Nikolaou CK George PP Divakar U Masiello I Kononowicz AA Zary N Tudor Car L Virtual Reality for Health Professions Education: Systematic Review and Meta-Analysis by the Digital Health Education Collaboration 2019 J Med Internet Res e12959 Kyaw BM, Saxena N, Posadzki P, Vseteckova J, Nikolaou CK, George PP, Divakar U, Masiello I, Kononowicz AA, Zary N, Tudor Car L. Virtual Reality for Health Professions Education: Systematic Review and Meta-Analysis by the Digital Health Education Collaboration. J Med Internet Res. 2019;21(1):e12959. DOI: 10.2196/12959 https://doi.org/10.2196/12959 Barteit S Lanfermann L Bärnighausen T Neuhann F Beiersmann C Augmented, Mixed, and Virtual Reality-Based Head-Mounted Devices for Medical Education: Systematic Review 2021 JMIR Serious Games e29080 Barteit S, Lanfermann L, Bärnighausen T, Neuhann F, Beiersmann C. Augmented, Mixed, and Virtual Reality-Based Head-Mounted Devices for Medical Education: Systematic Review. JMIR Serious Games. 2021;9(3):e29080. DOI: 10.2196/29080 https://doi.org/10.2196/29080 Moro C Štromberga Z Raikos A Stirling A The Effectiveness of Virtual and Augmented Reality in Health Sciences and Medical Anatomy 2017 Anat Sci Educ 549-559 Moro C, Štromberga Z, Raikos A, Stirling A. The Effectiveness of Virtual and Augmented Reality in Health Sciences and Medical Anatomy. Anat Sci Educ. 2017;10(6):549-559. DOI: 10.1002/ase.1696 https://doi.org/10.1002/ase.1696 Youngblood P Harter PM Srivastava S Moffett S Heinrichs WL Dev P Design, Development, and Evaluation of an Online Virtual Emergency Department for Training Trauma Teams 2008 Simul Healthc 146-153 Youngblood P, Harter PM, Srivastava S, Moffett S, Heinrichs WL, Dev P. Design, Development, and Evaluation of an Online Virtual Emergency Department for Training Trauma Teams. Simul Healthc. 2008;3(3):146-153. DOI: 10.1097/SIH.0b013e31817bedf7 https://doi.org/10.1097/SIH.0b013e31817bedf7 Pantelidis P Chorti A Papagiouvanni I Paparoidamis G Drosos C Panagiotakopoulos T Lales G Sideris M Virtual and Augmented Reality in Medical Education 2018 Medical and Surgical Education. Past Present Future Pantelidis P, Chorti A, Papagiouvanni I, Paparoidamis G, Drosos C, Panagiotakopoulos T, Lales G, Sideris M. Virtual and Augmented Reality in Medical Education. In: Tsoulfas G, editor. Medical and Surgical Education. Past Present Future. Garching: InTech Open; 2018. DOI: 10.5772/intechopen.71963 https://doi.org/10.5772/intechopen.71963 Birrenbach T Zbinden J Papagiannakis G Exadaktylos AK Müller M Hautz WE Sauter TC Effectiveness and Utility of Virtual Reality Simulation as an Educational Tool for Safe Performance of COVID-19 Diagnostics: Prospective, Randomized Pilot Trial 2021 JMIR Serious Games e29586 Birrenbach T, Zbinden J, Papagiannakis G, Exadaktylos AK, Müller M, Hautz WE, Sauter TC. Effectiveness and Utility of Virtual Reality Simulation as an Educational Tool for Safe Performance of COVID-19 Diagnostics: Prospective, Randomized Pilot Trial. JMIR Serious Games. 2021;9(4):e29586. DOI: 10.2196/29586 https://doi.org/10.2196/29586 Baniasadi T Ayyoubzadeh SM Mohammadzadeh N Challenges and Practical Considerations in Applying Virtual Reality in Medical Education and Treatment 2020 Oman Med J e125 Baniasadi T, Ayyoubzadeh SM, Mohammadzadeh N. Challenges and Practical Considerations in Applying Virtual Reality in Medical Education and Treatment. Oman Med J. 2020;35(3):e125. DOI: 10.5001/omj.2020.43 https://doi.org/10.5001/omj.2020.43 Gentry S Gauthier A Ehrstrom B Wortley D Lilienthal A Tudor Car L Dauwels-Okutsu S Nikolaou C Zary N Campbell J Car J Serious Gaming and Gamification Education in Health Professions: A Systematic Review by the Digital Health Education Collaboration (Preprint) 2019 J Med Internet Res e12994 Gentry S, Gauthier A, Ehrstrom B, Wortley D, Lilienthal A, Tudor Car L, Dauwels-Okutsu S, Nikolaou C, Zary N, Campbell J, Car J. Serious Gaming and Gamification Education in Health Professions: A Systematic Review by the Digital Health Education Collaboration (Preprint). J Med Internet Res. 2019;21(3):e12994. DOI: 10.2196/12994 https://doi.org/doi.org/10.2196/12994 Verschueren S Buffel C Vander Stichele G Developing Theory-Driven, Evidence-Based Serious Games for Health: Framework Based on Research Community Insights 2019 JMIR Serious Games e11565 Verschueren S, Buffel C, Vander Stichele G. Developing Theory-Driven, Evidence-Based Serious Games for Health: Framework Based on Research Community Insights. JMIR Serious Games. 2019;7(2):e11565. DOI: 10.2196/11565 https://doi.org/10.2196/11565 Soltan M Kim M The ABCDE Approach Explained 2016 BMJ i4512 Soltan M, Kim M. The ABCDE Approach Explained. BMJ. 2016;355:i4512. DOI: 10.1136/sbmj.i4512 https://doi.org/10.1136/sbmj.i4512 Bergeron BP 2006 Developing serious games Bergeron BP. Developing serious games. Hingham, MA: Charles River Media; 2006. Nicholson S A User-Centered Theoretical Framework for Meaningful Gamification 2012 Games+Learning+Society 8.0. Nicholson S. A User-Centered Theoretical Framework for Meaningful Gamification. In: Games+Learning+Society 8.0. Madison, WI; 2012. Nicholson S A RECIPE for Meaningful Gamification 2015 Gamificationin Education and Business 1-20 Nicholson S. A RECIPE for Meaningful Gamification. In: Reiners T, Wood L, editors. Gamificationin Education and Business. Cham: Springer; 2015. p.1-20. DOI: 10.1007/978-3-319-10208-5_1 https://doi.org/10.1007/978-3-319-10208-5_1 Suppan M Catho G Robalo Nunes T Sauvan V Perez M Graf C Pittet D Harbarth S Abbas M Suppan L A Serious Game Designed to Promote Safe Behaviors Among Health Care Workers During the COVID-19 Pandemic: Development of “Escape COVID-19” 2020 JMIR Serious Games e24986 Suppan M, Catho G, Robalo Nunes T, Sauvan V, Perez M, Graf C, Pittet D, Harbarth S, Abbas M, Suppan L. A Serious Game Designed to Promote Safe Behaviors Among Health Care Workers During the COVID-19 Pandemic: Development of “Escape COVID-19”. JMIR Serious Games. 2020;8(4):e24986. DOI: 10.2196/24986 https://doi.org/10.2196/24986 Lerner D Mohr S Schild J Göring M Luiz T An Immersive Multi-User Virtual Reality for Emergency Simulation Training: Usability Study 2020 JMIR Serious Games e18822 Lerner D, Mohr S, Schild J, Göring M, Luiz T. An Immersive Multi-User Virtual Reality for Emergency Simulation Training: Usability Study. JMIR Serious Games. 2020;8(3):e18822. DOI: 10.2196/18822 https://doi.org/10.2196/18822 Zhang T Booth R Jean-Louis R Chan R Yeung A Gratzer D Strudwick G A Primer on Usability Assessment Approaches for Health-Related Applications of Virtual Reality 2020 JMIR Serious Games e18153 Zhang T, Booth R, Jean-Louis R, Chan R, Yeung A, Gratzer D, Strudwick G. A Primer on Usability Assessment Approaches for Health-Related Applications of Virtual Reality. JMIR Serious Games. 2020;8(4):e18153. DOI: 10.2196/18153 https://doi.org/10.2196/18153 Brooke J SUS-A Quick and Dirty Usability Scale 1996 Usability evaluation in industry. 189-194 Brooke J. SUS-A Quick and Dirty Usability Scale. In: Usability evaluation in industry. London: Taylor and Francis; 1996. p.189-194. Gil-Gómez JA Manzano-Hernández P Albiol-Pérez S Aula-Valero C Gil-Gómez H Lozano-Quilis JA USEQ: A Short Questionnaire for Satisfaction Evaluation of Virtual Rehabilitation Systems 2017 Sensors (Basel) 1589 Gil-Gómez JA, Manzano-Hernández P, Albiol-Pérez S, Aula-Valero C, Gil-Gómez H, Lozano-Quilis JA. USEQ: A Short Questionnaire for Satisfaction Evaluation of Virtual Rehabilitation Systems. Sensors (Basel). 2017;17(7):1589. DOI: 10.3390/s17071589 https://doi.org/10.3390/s17071589 Sevinc V Berkman MI Psychometric Evaluation of Simulator Sickness Questionnaire and Its Variants as a Measure of Cybersickness in Consumer Virtual Environments 2020 Appl Ergon 102958 Sevinc V, Berkman MI. Psychometric Evaluation of Simulator Sickness Questionnaire and Its Variants as a Measure of Cybersickness in Consumer Virtual Environments. Appl Ergon. 2020;82:102958. DOI: 10.1016/j.apergo.2019.102958 https://doi.org/10.1016/j.apergo.2019.102958 Slater M Immersion and the Illusion of Presence in Virtual Reality 2018 Br J Psychol 431-433 Slater M. Immersion and the Illusion of Presence in Virtual Reality. Br J Psychol. 2018;109(3):431-433. DOI: 10.1111/bjop.12305 https://doi.org/10.1111/bjop.12305 Hart SG Staveland LE Development of NASA-TLX (Task Load Index): Results of Empirical and Theoretical Research 1988 Adv Psychol 139-183 Hart SG, Staveland LE. Development of NASA-TLX (Task Load Index): Results of Empirical and Theoretical Research. Adv Psychol. 1988;52:139-183. DOI: 10.1016/S0166-4115(08)62386-9 https://doi.org/10.1016/S0166-4115(08)62386-9 Grier RA How High Is High? A Meta-Analysis of NASA-TLX Global Workload Scores 2015 Human Fact Ergo Soc 1727-1731 Grier RA. How High Is High? A Meta-Analysis of NASA-TLX Global Workload Scores. Human Fact Ergo Soc. 2015;59(1):1727-1731. DOI: 10.1177/1541931215591373 https://doi.org/10.1177/1541931215591373 Ritzmann S Hagemann V Kluge A The Training Evaluation Inventory (TEI) - Evaluation of Training Design and Measurement of Training Outcomes for Predicting Training Success 2014 Vocat Learn 41-73 Ritzmann S, Hagemann V, Kluge A. The Training Evaluation Inventory (TEI) - Evaluation of Training Design and Measurement of Training Outcomes for Predicting Training Success. Vocat Learn. 2014;7:41-73. DOI: 10.1007/s12186-013-9106-4 https://doi.org/10.1007/s12186-013-9106-4 Csikszentmihalyi M 1998 Finding Flow: The Psychology of Engagement With Everyday Life 144 Csikszentmihalyi M. Finding Flow: The Psychology of Engagement With Everyday Life. New York: Basic Books; 1998. p.144. Kopp V Stark R Fischer MR Fostering Diagnostic Knowledge through Computer-Supported, Case-Based Worked Examples: Effects of Erroneous Examples and Feedback 2008 Med Educ 823-829 Kopp V, Stark R, Fischer MR. Fostering Diagnostic Knowledge through Computer-Supported, Case-Based Worked Examples: Effects of Erroneous Examples and Feedback. Med Educ. 2008;42(8):823-829. DOI: 10.1111/j.1365-2923.2008.03122.x https://doi.org/10.1111/j.1365-2923.2008.03122.x Lewis JR Psychometric Evaluation of an After-Scenario Questionnaire for Computer Usability Studies: The ASQ 1991 ACM SIGCHI Bull 78-81 Lewis JR. Psychometric Evaluation of an After-Scenario Questionnaire for Computer Usability Studies: The ASQ. ACM SIGCHI Bull. 1991;23(1):78-81. DOI: 10.1145/122672.122692 https://doi.org/10.1145/122672.122692 Ang CS Zaphiris P Mahmood S A Model of Cognitive Loads in Massively Multiplayer Online Role Playing Games 2007 Interact Comput 167-179 Ang CS, Zaphiris P, Mahmood S. A Model of Cognitive Loads in Massively Multiplayer Online Role Playing Games. Interact Comput. 2007;19(2):167-179. DOI: 10.1016/j.intcom.2006.08.006 https://doi.org/10.1016/j.intcom.2006.08.006 Williams KA Rose WD Simon R Teamwork in Emergency Medical Services 1999 Air Med J 149-153 Williams KA, Rose WD, Simon R. Teamwork in Emergency Medical Services. Air Med J. 1999;18(4):149-153. DOI: 10.1016/s1067-991x(99)90028-7 https://doi.org/10.1016/s1067-991x(99)90028-7 Nicolaides M Theodorou E Emin EI Theodoulou I Andersen N Lymperopoulos N Odejinmi F Kitapcioglu D Aksoy ME Papalois A Sideris M Team Performance Training for Medical Students: Low vs High Fidelity Simulation 2020 Ann Med Surg 308-315 Nicolaides M, Theodorou E, Emin EI, Theodoulou I, Andersen N, Lymperopoulos N, Odejinmi F, Kitapcioglu D, Aksoy ME, Papalois A, Sideris M. Team Performance Training for Medical Students: Low vs High Fidelity Simulation. Ann Med Surg. 2020;55:308-315. DOI: 10.1016/j.amsu.2020.05.042 https://doi.org/10.1016/j.amsu.2020.05.042 Massoth C Röder H Ohlenburg H Hessler M Zarbock A Pöpping DM Wenk M High-Fidelity Is Not Superior to Low-Fidelity Simulation but Leads to Overconfidence in Medical Students 2019 BMC Med Educ 29 Massoth C, Röder H, Ohlenburg H, Hessler M, Zarbock A, Pöpping DM, Wenk M. High-Fidelity Is Not Superior to Low-Fidelity Simulation but Leads to Overconfidence in Medical Students. BMC Med Educ. 2019;19(1):29. DOI: 10.1186/s12909-019-1464-7 https://doi.org/10.1186/s12909-019-1464-7 Riva G Mantovani F Capideville CS Preziosa A Morganti F Villani D Gaggioli A Botella C Alcañiz M Affective Interactions Using Virtual Reality: The Link between Presence and Emotions 2007 Cyberpsychol Behav 45-56 Riva G, Mantovani F, Capideville CS, Preziosa A, Morganti F, Villani D, Gaggioli A, Botella C, Alcañiz M. Affective Interactions Using Virtual Reality: The Link between Presence and Emotions. Cyberpsychol Behav. 2007;10(1):45-56. DOI: 10.1089/cpb.2006.9993 https://doi.org/10.1089/cpb.2006.9993 Mantovani F Castelnuovo G Sense of Presence in Virtual Training: Enhancing Skills Acquisition and Transfer of Knowledge through Learning Experience in Virtual Environments 2003 Being There: Concepts, effects and measurement of user presence in synthetic environments Mantovani F, Castelnuovo G. Sense of Presence in Virtual Training: Enhancing Skills Acquisition and Transfer of Knowledge through Learning Experience in Virtual Environments. In: Riva G, Davide F, IJsselsteijn WA, editors. Being There: Concepts, effects and measurement of user presence in synthetic environments. Amsterdam: Ios Press; 2003. DOI: 10.1037/e705482011-044 https://doi.org/10.1037/e705482011-044 Kellett J Papageorgiou A Cavenagh P Salter C Miles S Leinster SJ The Preparedness of Newly Qualified Doctors - Views of Foundation Doctors and Supervisors 2015 Med Teach 949-954 Kellett J, Papageorgiou A, Cavenagh P, Salter C, Miles S, Leinster SJ. The Preparedness of Newly Qualified Doctors - Views of Foundation Doctors and Supervisors. Med Teach. 2015;37(10):949-954. DOI: 10.3109/0142159X.2014.970619 https://doi.org/10.3109/0142159X.2014.970619 McEvoy MD Dewaay DJ Vanderbilt A Alexander LA Stilley MC Hege MC Kern DH Are Fourth-Year Medical Students as Prepared to Manage Unstable Patients as They Are to Manage Stable Patients? 2014 Acad Med 618-624 McEvoy MD, Dewaay DJ, Vanderbilt A, Alexander LA, Stilley MC, Hege MC, Kern DH. Are Fourth-Year Medical Students as Prepared to Manage Unstable Patients as They Are to Manage Stable Patients? Acad Med. 2014;89(4):618-624. DOI: 10.1097/ACM.0000000000000192 https://doi.org/10.1097/ACM.0000000000000192 Smidt A Balandin S Sigafoos J Reed VA The Kirkpatrick model: A useful tool for evaluating training outcomes 2009 J Intellect Dev Disabil 266-274 Smidt A, Balandin S, Sigafoos J, Reed VA. The Kirkpatrick model: A useful tool for evaluating training outcomes. J Intellect Dev Disabil. 2009;34(3):266-274. DOI: 10.1080/13668250903093125 https://doi.org/10.1080/13668250903093125 Huang W 2020 Investigating the Novelty Effect in Virtual Reality on STEM Learning Huang W. Investigating the Novelty Effect in Virtual Reality on STEM Learning. Phoenix: Arizona State University; 2020. 11en1de

Table 1: Learning objectives and alignment with the framework RECIPE [21] (R=reflection, EN=engagement, C=choice, I=information, P=play, and EX=exposition), and examples of implementation.

Tabelle 1: Lernziele und Orientierung am RECIPE-Rahmenkonzept [21] (R=Reflection, EN=Engagement, C=Choice, I=Information, P=Play und EX=Exposition) sowie Beispiele der Umsetzung.

22en2de

Table 2: Baseline characteristics

Tabelle 2: Baseline-Charakteristika

33en3de

Table 3: Variables of media use

Tabelle 3: Variablen der Mediennutzung

44en4de

Table 4: Perceived training effectiveness

Tabelle 4: Wahrgenommene Wirksamkeit des Trainings

4 0 0 1 1en 1de Online supplement materials Online-Zusatzmaterialien 1