zma00160010.3205/zma001600urn:nbn:de:0183-zma0016002articleArtikelImmersive training of clinical decision making with AI driven virtual patients – a new VR platform called medical tr.AI.ningImmersives Training der klinischen Entscheidungsfindung mit KI-gesteuerten virtuellen Patienten – eine neue VR-Plattform namens medical tr.AI.ningMergenMergenMarvinMDr. med.Saarland University, Department of Pediatric Oncology and Hematology, Homburg, GermanyUniversität des Saarlandes, Abteilung für Pädiatrische Onkologie und Hämatologie, Homburg, DeutschlandauthorJungaJungaAnnaAUniversity of Münster, Institute of Education and Student Affairs, Münster, GermanyStiftungsklinikum PROSELIS, Department of Urology, Recklinghausen, GermanyUniversität Münster, Institut für Pädagogik und Studienangelegenheiten, Münster, DeutschlandStiftungsklinikum PROSELIS, Klinik für Urologie, Recklinghausen, DeutschlandauthorRisseRisseBenjaminBProf.University of Münster, Institute for Geoinformatics, Münster, GermanyUniversity of Münster, Computer Vision & Machine Learning Systems Group, Münster, GermanyUniversität Münster, Institut für Geoinformatik, Münster, DeutschlandUniversität Münster, Computer Vision & Machine Learning Systems, Münster, DeutschlandauthorValkovValkovDimitarDSaarland University, Department of Computer Science, Homburg, GermanyGerman Research Center for Artificial Intelligence (DFKI), Saarbrücken, GermanyUniversität des Saarlandes, Fachbereich Informatik, Homburg, DeutschlandDeutsches Forschungszentrum für Künstliche Intelligenz (DFKI), Saarbrücken, DeutschlandauthorGrafGrafNorbertNProf.
Saarland University, Department of Pediatric Oncology and Hematology, Kirrberger Str. 100, D-66424 Homburg, Germany, Phone: +49 (0)6841/16-8411Saarland University, Department of Pediatric Oncology and Hematology, Homburg, Germany
Universität des Saarlandes, Abteilung für Pädiatrische Onkologie und Hämatologie, Kirrberger Str. 100, 66424 Homburg, Deutschland, Tel.: +49 (0)6841/16-8411Universität des Saarlandes, Abteilung für Pädiatrische Onkologie und Hämatologie, Homburg, Deutschlandnorbert.graf@uks.euauthorMarschallMarschallBernhardB.Prof. Dr. med.
University of Münster, Institute of Education and Student Affairs, Albert-Schweitzer-Campus 1, D-48149 Münster, Germany, Phone: +49 (0)251/83-58900University of Münster, Institute of Education and Student Affairs, Münster, Germany
Universität Münster, Institut für Ausbildung und Studienangelegenheiten, Albert-Schweitzer-Campus 1, 48149 Münster, Deutschland, Tel.: +49 (0)251/83-58900Universität Münster, Institut für Ausbildung und Studienangelegenheiten, Münster, Deutschlandb.marschall@uni-muenster.deauthormedical tr.AI.ning consortiummedical tr.AI.ning consortiumKonsortium medical tr.AI.ningKonsortium medical tr.AI.ningauthorGerman Medical Science GMS Publishing House
Düsseldorf
610virtual realitymedical educationartificial intelligencevirtual patientsvirtuelle Realitätmedizinische Ausbildungkünstliche Intelligenzvirtuelle Patientenvirtual realityVirtual Reality20220630202211102023011120230417englgermThis is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License.Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung).2366-5017402GMS Journal for Medical EducationGMS J Med Educ18Bundesministerium für Bildung und Forschung (BMBF)Universität Münster, Open-Access-PublikationsfondHintergrund: Medizinstudierende müssen auf verschiedene Situationen in klinischer Entscheidungsfindung vorbereitet werden, die nicht systematisch mit echten Patienten geübt werden können, ohne ihre Gesundheit oder Integrität zu gefährden. Um die systembedingten Einschränkungen des schauspielbasierten Trainings auszugleichen, werden in der medizinischen Ausbildung zunehmend digitale Lernmethoden eingesetzt, wobei Training in Virtueller Realität (VR) ein hohes Potenzial zu haben scheint. Virtuell generierte Trainingsszenarien ermöglichen das wiederholte Training hochrelevanter klinischer Fertigkeiten in einer geschützten, realistischen Lernumgebung. Dank Künstlicher Intelligenz (KI) ist eine direkte Interaktion mit virtuellen Agenten möglich. Die Kombination dieser Technologie mit VR-Simulationen bietet eine neue Möglichkeit für ein kontextbezogenes, persönliches Training für Medizinstudierende.Projektziel und Methode: Das Ziel der Autoren ist es, eine modulare digitale Trainingsplattform für die medizinische Ausbildung mit virtuellen, interaktiven Agenten zu entwickeln und diese Plattform in das medizinische Curriculum zu integrieren. Die medical tr.AI.ning - Plattform wird eine realitätsnahe Simulation von klinischen Szenarien mit virtuellen Patienten ermöglichen, ergänzt durch hochrealistische medizinische Pathologien innerhalb eines anpassbaren, realistischen situativen Kontextes. Medical tr.AI.ning ist auf vier komplementäre Entwicklungsschritte mit unterschiedlichen Szenarien skaliert, die separat genutzt werden können, so dass jedes Ergebnis sukzessive früh in das Projekt integriert werden kann. Jeder Schritt hat seinen eigenen Schwerpunkt (Visuelles, Bewegung, Kommunikation, Kombination) und erweitert durch seine Modularität ein Autorentool. Die Module der einzelnen Schritte werden gemeinsam mit Medizindidaktik-Experten spezifiziert und gestaltet. Ausblick: Um eine ständige Verbesserung der Benutzererfahrung, des Realismus und der medizinischen Validität zu gewährleisten, werden die Autoren regelmäßige iterative Evaluierungsrunden durchführen.Darüber hinaus wird die Integration von medical tr.AI.ning in das medizinische Curriculum eine langfristige und groß angelegte Ermittlung der Vorteile und Grenzen dieses Ansatzes ermöglichen und verbesserte alternative Lehrparadigmen für die VR-Technologie bieten. Background: Medical students need to be prepared for various situations in clinical decision-making that cannot be systematically trained with real patients without risking their health or integrity. To target system-related limitations of actor-based training, digital learning methods are increasingly used in medical education, with virtual reality (VR)- training seeming to have high potential. Virtually generated training scenarios allow repetitive training of highly relevant clinical skills within a protected, realistic learning environment. Thanks to Artificial Intelligence (AI), face-to-face interaction with virtual agents is feasible. Combining this technology with VR-simulations offers a new way of situated context-based, first-person training for medical students.Project goal and method: The authors’ aim is to develop a modular digital training platform for medical education with virtual, interactable agents and to integrate this platform into the medical curriculum. The medical tr.AI.ning platform will provide veridical simulation of clinical scenarios with virtual patients, augmented with highly realistic medical pathologies within a customizable, realistic situational context. Medical tr.AI.ning is scaled to four complementary developmental steps with different scenarios that can be used separately and so each outcome can successively be integrated early within the project. Every step has its own focus (visual, movement, communication, combination) and extends an author toolbox through its modularity. The modules of each step will be specified and designed together with medical didactics experts. Perspective: To ensure constant improvement of user experience, realism, and medical validity, the authors will perform regular iterative evaluation rounds.Furthermore, integration of medical tr.AI.ning into the medical curriculum will enable long-term and large-scale detection of benefits and limitations of this approach, providing enhanced alternative teaching paradigms for VR technology. 1. BackgroundMedical tr.AI.ning is an interdisciplinary joint-project funded by the Federal Ministry of Education and Research (BMBF) that aims to develop a virtual reality (VR) training platform to enable medical students to practice clinical decision-making in customizable scenarios in a safe, immersive virtual environment. Thanks to most recent advances in Artificial intelligence (AI) technology it will be possible to create realistic and holistic clinical cases with interactive, intelligent virtual patients. The medical tr.AI.ning project is motivated by the increasing focus on clinical reasoning in learning goals of medical curricula. 1. HintergrundMedical tr.AI.ning ist ein vom Bundesministerium für Bildung und Forschung (BMBF) gefördertes interdisziplinäres Verbundprojekt zur Entwicklung einer Virtual Reality (VR)-Trainingsplattform, die es Medizinstudierenden ermöglicht, klinische Entscheidungen in anpassbaren Szenarien in einer sicheren, immersiven virtuellen Umgebung zu üben. Dank neuester Fortschritte in der Technologie der Künstlichen Intelligenz (KI) wird es möglich sein, realistische und ganzheitliche klinische Fälle mit interaktiven, intelligenten virtuellen Patienten zu erstellen. Das medical tr.AI.ning Projekt ist motiviert durch den zunehmenden Fokus auf „clinical reasoning“ in den Lernzielen der medizinischen Curricula. 2. Reason and project goalBy the end of 2017, the Federal Ministry of Education and Research (BMBF), the Federal Ministry of Health (BMG), the Conference of Ministers of Education (KMK) and the Conference of Health Ministers (GMK) agreed on the “Masterplan for medical schools 2020” for Germany . With this decision, an enhancement of competence-based concepts for education to gain medical experts is envisaged. A main step of this process is the new catalog of learning goals (NKLM 2.0) [https://nklm.de/zend/objective/list/orderBy/@objectivePosition/studiengang/Arztrollen] being part of the new medical approbation regulations as of 2025 . In contrast to the previous curriculum, this catalog places particular emphasis on social skills training.Medical students need to be prepared for various situations in clinical decision-making that cannot be systematically trained with real patients without being burdensome for them or the students. Until now, clinical experience is often acquired through shadowing only. Unfortunately, this misses a first-person perspective and experience . To target this problem, there is ongoing research for situated learning with the aim of knowledge acquisition in context-based interpersonal interactions. So far, this has been successfully achieved by actor-based simulations, as it is practiced in the programs of the Medical Faculties of Münster , and Homburg . Yet, despite great acting performances and authentic conversation training, there are still system-related limitations inherent to this approach. For example, physical parameters such as various symptoms, appearance (skin color, weight, …) and age cannot be displayed authentically or varied easily. Intimate examinations represent another aspect of medical education, which cannot be trained with actors. The mentioned limitations illustrate why digital training and learning methods are increasingly used in the context of medical education . Especially in VR-based training, high potential is found according to literature , . Virtually generated training scenarios allow repetitive training of highly relevant skills within a protected learning environment. Current VR applications can display realistic visualizations, which provide immersive experiences that reportedly enhance clinical decision-making skills . This experience roots in two phenomena that M. Slater calls “place illusion” and “plausibility illusion” which – when both occur – lead to a realistic response by the participant in virtual reality . Thus, VR may provide a viable tool that can be used to approximate real-world situations that are impossible to train with current methods. Recent advances in the domain of AI and deep learning have rendered real-time speech recognition feasible and have enabled novel paradigms for face-to-face interaction with virtual agents. Unfortunately, in the context of medical education, AI has been so far primarily used for automatic evaluations, predictions of students’ performance, surgical training, or in internet platforms without deep integration of situated learning. Combining the potential of virtual reality simulations with advanced artificial intelligence technologies can create a new way of situated context-based, egocentric training for medical students. To achieve this goal, we are developing a modular, educative, digital training platform, called “medical tr.AI.ning”, with virtual, interactable agents. Within this scope we aim to integrate VR into courses of the medical curriculum that demand clinical decision making and that are otherwise limited, e.g., by not availability of patients with specific diseases or in the context of shameful physical examinations. This implies a focus on training practical skills. Thanks to advanced AI-technologies veridical simulations of typical clinical situations with virtual patients interacting with the trainee in verbal and nonverbal ways within a desired situational context and augmented with highly realistic, intelligent medical pathologies are provided. This allows students to repeatedly train diverse medical situations with different grades of complexity. A dedicated authoring tool enables the educators to create new, or modify existing training scenarios, add further pathologies or examination tools, and even customize the patients and their behavior. With this tool, teachers are able to assemble all characteristics of a virtual patient, environment, and scenario intuitively without the need for laborious implementation by external IT specialists. This will support the dissemination of our platform to other medical schools.To ensure constant improvement and authentic evaluation, we perform regular iterative evaluations with pilot user-studies for each created scenario. With this strategy we guarantee validity and user friendliness throughout the development of medical tr.AI.ning.More information about medical tr.AI.ning can be retrieved from our website [https://medical-training-project.de/] and our project video [https://www.youtube.com/watch?v=Oe0l_nDHyOY&t=2s].2. Anlass und ProjektzielEnde 2017 haben sich das Bundesministerium für Bildung und Forschung (BMBF), das Bundesministerium für Gesundheit (BMG), die Kultusministerkonferenz (KMK) und die Gesundheitsministerkonferenz (GMK) auf den „Masterplan Medizinstudium 2020“ für Deutschland geeinigt . Mit diesem Beschluss wird eine Weiterentwicklung kompetenzbasierter Konzepte für die Ausbildung von medizinischen Fachkräften angestrebt. Ein wesentlicher Schritt in diesem Prozess ist der neue Lernzielkatalog (NKLM 2.0) [https://nklm.de/zend/objective/list/orderBy/@objectivePosition/studiengang/Arztrollen] als Teil der neuen ärztlichen Approbationsordnung ab 2025 . Im Gegensatz zum bisherigen Curriculum legt dieser Katalog einen besonderen Schwerpunkt auf das Training sozialer Kompetenzen.Medizinstudierende müssen auf verschiedene Situationen bei der klinischen Entscheidungsfindung vorbereitet werden, die nicht systematisch mit echten Patienten geübt werden können, ohne sie oder die Studierenden zu belasten. Bislang wird klinische Erfahrung oft nur durch sog. Shadowing erworben. Leider fehlen dabei die Perspektive und Erfahrung aus erster Hand . Um dieses Problem anzugehen, gibt es derzeit Forschungsarbeiten zum situativen Lernen mit dem Ziel des Wissenserwerbs in kontextbasierten zwischenmenschlichen Interaktionen. Bisher wurde dies erfolgreich durch schauspielbasierte Simulationen erreicht, wie in den Programmen der Medizinischen Fakultäten von Münster , und Homburg . Doch trotz großartiger schauspielerischer Leistungen und authentischem Gesprächstraining gibt es systembedingte Grenzen dieses Ansatzes. So können beispielsweise körperliche Parameter wie verschiedene Symptome, Aussehen (Hautfarbe, Gewicht, ...) und Alter nicht authentisch dargestellt oder leicht variiert werden. Intime Untersuchungen sind ein weiterer Aspekt der medizinischen Ausbildung, der nicht mit Schauspielern trainiert werden kann. Die genannten Einschränkungen verdeutlichen, warum digitale Lehr- und Lernmethoden im Rahmen der medizinischen Ausbildung zunehmend eingesetzt werden . Gerade im VR-basierten Training wird laut Literatur ein hohes Potenzial gesehen , . Virtuell generierte Trainingsszenarien ermöglichen ein wiederholtes Training hochrelevanter Fähigkeiten in einer geschützten Lernumgebung. Aktuelle VR-Anwendungen können realitätsnahe Visualisierungen darstellen, die immersive Erfahrungen ermöglichen, die nachweislich die klinischen Entscheidungsfähigkeiten verbessern . Diese Erfahrung beruht auf zwei Phänomenen, die M. Slater als „Ortsillusion“ und „Plausibilitätsillusion“ bezeichnet, die – wenn beide auftreten – zu einer realistischen Reaktion des Teilnehmers in der virtuellen Realität führen . Somit kann VR ein brauchbares Werkzeug sein, um reale Situationen zu simulieren, die mit den derzeitigen Methoden nicht trainiert werden können. Jüngste Fortschritte im Bereich der künstlichen Intelligenz und des Deep Learning haben die Spracherkennung in Echtzeit möglich gemacht und neue Paradigmen für die face-to-face Interaktion mit virtuellen Agenten ermöglicht. Leider wurde KI in der medizinischen Ausbildung bisher hauptsächlich für automatische Evaluationen, Vorhersagen über die Leistung von Studierenden, chirurgisches Training oder in Internetplattformen ohne tiefgreifende Integration von situativem Lernen eingesetzt. Die Kombination des Potenzials von Virtual-Reality-Simulationen mit fortschrittlichen Technologien der künstlichen Intelligenz kann eine neue Art des situativen, kontextbasierten, egozentrischen Trainings für Medizinstudierende schaffen. Um dieses Ziel zu erreichen, entwickeln wir eine modulare, pädagogische, digitale Trainingsplattform, genannt „medical tr.AI.ning“, mit virtuellen, interaktiven Agenten. In diesem Rahmen wollen wir VR in Kurse des medizinischen Curriculums integrieren, die eine klinische Entscheidungsfindung erfordern und die ansonsten eingeschränkt sind, z.B. durch die Nichtverfügbarkeit von Patienten mit spezifischen Krankheiten oder im Rahmen von schambehafteten körperlichen Untersuchungen. Dies bedeutet, dass der Schwerpunkt auf dem Training praktischer Fähigkeiten liegt. Dank fortschrittlicher KI-Technologien werden realitätsnahe Simulationen typischer klinischer Situationen mit virtuellen Patienten erstellt, die mit dem Auszubildenden verbal und nonverbal in einem gewünschten situativen Kontext interagieren und mit hochrealistischen, intelligenten medizinischen Pathologien ausgestattet sind. Dies ermöglicht es Studierenden, verschiedene medizinische Situationen mit unterschiedlichen Komplexitätsgraden wiederholt zu trainieren. Ein spezielles Autorentool ermöglicht es den Lehrkräften, neue Schulungsszenarien zu erstellen oder bestehende zu ändern, weitere Pathologien oder Untersuchungsinstrumente hinzuzufügen und sogar die Patienten und ihr Verhalten anzupassen. Mit diesem Tool können die Lehrkräfte alle Merkmale eines virtuellen Patienten, einer Umgebung und eines Szenarios intuitiv zusammenstellen, ohne dass eine aufwändige Implementierung durch externe IT-Spezialisten erforderlich ist. Dies wird die Verbreitung unserer Plattform an anderen medizinischen Fakultäten unterstützen.Um eine ständige Verbesserung und authentische Evaluation zu gewährleisten, führen wir regelmäßig iterative Evaluationen mit Pilot-Nutzerstudien für jedes erstellte Szenario durch. Mit dieser Strategie garantieren wir Validität und Benutzerfreundlichkeit während der gesamten Entwicklung von medical tr.AI.ning.Weitere Informationen über medical tr.AI.ning finden Sie auf unserer Website [https://medical-training-project.de/] und in unserem Projektvideo [https://www.youtube.com/watch?v=Oe0l_nDHyOY&t=2s].3. Project planThis joint project has been started and is conducted by leading institutes in computer science and medical didactics at the University of Münster (CVMLS, IfAS) and Saarland University (CHELM, UMTL), the University of Applied Sciences Münster (FHMS) and the art academy Saarbrücken (HBKsaar).The project goals are scaled to four complementary developmental steps with corresponding scenarios (see table 1 ), that can be used alone or combined and integrated early in medical curricula. Every step has its own main focus (visual, movement, communication, combination) and extends the authoring tool through its modularity. Modules of each step will be derived from concrete example scenarios specified and designed by our medical team including didactic experts (see table 1 ). By successive adding of new modules, we aim to ensure both the scalability of the overall system and the stability of each individual training scenario. Medical tr.AI.ning requires knowledge of mainly three different disciplines: medicine-didactics, computer science, and design.As illustrated in figure 1a the respective competences are divided into two broadly defined teams. The medical didactics team (IfAS, CHELM) develops teaching methods and strategies, and provides the medical background as a basis for programming and designing the scenarios in cooperation with medical specialists. The platform is implemented by the technical team (UMTL, CVMLS, FHMS). The design teams of University of Applied Sciences Münster (FHMS) and the art academy Saarbrücken (HBKsaar) provide designs, models, and animations as well as interaction concepts in VR. Overall, the tasks are strictly allocated but require close cooperation, also during the process of evaluation with iterative feedback between the different stakeholders.The platform development employs an incremental design paradigm, with an early horizontal prototyping and small implementation-validation cycles. Every iteration (cf. figure 1b )focuses on a particular training scenario and starts with a conception by all partners, where trainable medical competences, technical requirements and feasibility are evaluated and harmonized. After the conception, the medical-didactics team develops the teaching methods and courses surrounding the seamless integration of the platform, while the technical and design teams build the required system components. The results of these developments flow into dedicated educational courses with a focus on clinical reasoning that will be integrated into the medical curricula of the University of Münster and the Saarland University. These courses form the primary testbed of the platform, and the results from the evaluations within the course are used to guide the conceptual design and development in the next iteration step. This method allows focused vertical prototyping of each planned aspect of the platform, and early integration in medical schools, which substantially raises the probability of success and adaptability of medical tr.AI.ning. Apart from their inherent nature of needing clinical decision-making skills, according to table 1 the primary courses are chosen based on their suitability with regard to the current developmental steps. For example, the first scenario with a focus on visual findings will be implemented into the practical courses of dermatology. 3. ProjektplanDieses Gemeinschaftsprojekt wurde initiiert und wird durchgeführt von führenden Instituten der Informatik und der Medizindidaktik der Universität Münster (CVMLS, IfAS) und der Universität des Saarlandes (CHELM, UMTL), der Fachhochschule Münster (FHMS) und der Hochschule der Bildenden Künste Saarbrücken (HBKsaar). Die Projektziele sind auf vier komplementäre Entwicklungsschritte mit entsprechenden Szenarien skaliert (siehe Tabelle 1 ), die einzeln oder kombiniert eingesetzt und frühzeitig in medizinische Curricula integriert werden können. Jeder Schritt hat seinen eigenen Schwerpunkt (Visuelles, Bewegung, Kommunikation, Kombination) und erweitert das Autorentool durch seine Modularität. Die Module der einzelnen Schritte werden aus konkreten Beispielszenarien abgeleitet, die von unserem medizinischen Team, einschließlich didaktischer Experten, spezifiziert und entworfen werden (siehe Tabelle 1 ). Durch das sukzessive Hinzufügen neuer Module wollen wir sowohl die Skalierbarkeit des Gesamtsystems als auch die Stabilität jedes einzelnen Trainingsszenarios sicherstellen. Medical tr.AI.ning erfordert vor allem Kenntnisse in drei verschiedenen Disziplinen: Medizin-Didaktik, Informatik und Design.Wie in Abbildung 1a dargestellt, sind die jeweiligen Kompetenzen in zwei grob definierte Teams aufgeteilt. Das Team für medizinische Didaktik (IfAS, CHELM) entwickelt Lehrmethoden und -strategien und liefert den medizinischen Hintergrund als Grundlage für die Programmierung und Gestaltung der Szenarien in Zusammenarbeit mit medizinischen Spezialisten. Die Plattform wird durch das technische Team (UMTL, CVMLS, FHMS) implementiert. Die Designteams der Fachhochschule Münster (FHMS) und der Hochschule der Bildenden Künste Saarbrücken (HBKsaar) liefern Designs, Modelle und Animationen sowie Interaktionskonzepte in VR. Insgesamt sind die Aufgaben eindeutig verteilt, erfordern aber eine enge Zusammenarbeit, auch während des Evaluierungsprozesses mit iterativem Feedback zwischen den verschiedenen Beteiligten.Bei der Entwicklung der Plattform wird ein inkrementelles Design-Paradigma angewandt, mit einem frühen horizontalen Prototyping und kleinen Implementierungs- und Validierungszyklen. Jede Iteration (vgl. Abbildung 1b ) konzentriert sich auf ein bestimmtes Ausbildungsszenario und beginnt mit einer Konzeption durch alle Partner, bei der die trainierbaren medizinischen Kompetenzen, die technischen Anforderungen und die Machbarkeit bewertet und aufeinander abgestimmt werden. Nach der Konzeption entwickelt das medizindidaktische Team die Lehrmethoden und Kurse rund um die nahtlose Integration der Plattform, während die Technik- und Designteams die erforderlichen Systemkomponenten entwickeln. Die Ergebnisse dieser Entwicklungen fließen in spezielle Lehrveranstaltungen mit dem Schwerpunkt clinical reasoning ein, die in die medizinischen Curricula der Universität Münster und der Universität des Saarlandes integriert werden. Diese Kurse bilden die primäre Testumgebung für die Plattform, und die Ergebnisse der Evaluierungen innerhalb des Kurses werden verwendet, um das Konzept und die Entwicklung im nächsten Iterationsschritt zu steuern. Diese Methode ermöglicht ein gezieltes vertikales Prototyping jedes geplanten Aspekts der Plattform und eine frühzeitige Integration in die medizinischen Fakultäten, was die Erfolgswahrscheinlichkeit und die Anpassungsfähigkeit von medical tr.AI.ning deutlich erhöht. Abgesehen davon, dass sie klinische Entscheidungsfähigkeiten erfordern, werden die primären Kurse gemäß Tabelle 1 auf der Grundlage ihrer Eignung im Hinblick auf die aktuellen Entwicklungsschritte ausgewählt. Zum Beispiel wird das erste Szenario mit dem Schwerpunkt auf visuellen Befunden in die praktischen Kurse der Dermatologie implementiert. 4. Evaluation4.1. Continuous evaluation and validation process on overall user experience For each implemented and usable scenario, an elective with at least fifteen medical students will be initiated as a pilot-study. According to our developmental steps, they primarily test the platform with a focus on visual diagnosis. Every student is accompanied by a medical didactics expert (MDE). In the test scenario, the students are asked to speak out their thoughts related to the platform (thinking aloud-method), which will be transcribed by the MDE. To avoid any bias, students are not allowed to talk to others until the evaluation is completed.In a second step, all students get a standardized questionnaire covering the following topics: user friendliness (intuitiveness), design, realism, learning effect, fun factor as well as the degree of being able to stick to the scenario (level of concentration). Free text is provided to give recommendations. With this method we ensure regular improvements of our platform in an iterative process based upon first-hand requirements of medical students. Continuous evaluation is done with different scenarios in all four developmental steps.4.2. Evaluation of validity and competence acquisition As our focus is on training clinical competences rather than to acquire theoretical knowledge, we decided to use the EPA-Concept (Entrustable Professional Activities) of Ole ten Cate . This concept is based on the assumption that trust and permission to act in a clinical context can be evaluated through observation by medical experts. EPAs are assessed for 13 different competencies on a scale from 0 to 5 (“the student has no benefit from observing” to “the student is consolidated enough to guide other learners”). The assessment is based on structured requirement catalogs, but not on a fixed check-list catalog so as OSCE assessments do. This strategy emphasizes an aspired congruence between self-assessment and external assessment as well as personalized feedback that guarantee both patients’ safety and self-efficacy. To address competence effectiveness, two groups of students will be compared (A+VR): Group A will interact with actors while group VR will use the medical tr.AI.ning platform in similar testing scenarios. The participants of each cohort will be matched according to their medical knowledge. The scenario focuses on clinical processes in patient management. Therefore, no theoretical background like epidemiology, classification or prognosis will be addressed. The goal is to guide the student to decision making by a stepwise approach to learn how to find a correct diagnosis. During performance the students’ behavior and strategy will be evaluated in both groups by an MDE with respect to the EPA concept for comparison. Limitations of this study setting are mainly linked to small group sizes and different experience with VR and technical gadgets.4. Evaluation4.1. Kontinuierlicher Evaluations- und Validierungsprozess für die allgemeine Nutzererfahrung Für jedes implementierte und nutzbare Szenario wird ein Wahlfach mit mindestens fünfzehn Medizinstudenten als Pilotstudie initiiert. Entsprechend unserer Entwicklungsschritte testen sie die Plattform primär mit dem Fokus auf visuelle Diagnosen. Jeder Student wird von einem/einer Medizindidaktik-Experten/Expertin (MDE) begleitet. Im Testszenario werden die Studierenden aufgefordert, ihre Gedanken zur Plattform zu äußern (Thinking Aloud-Methode), welche vom/ von der MDE transkribiert werden. Um jegliche Voreingenommenheit zu vermeiden, ist es den Studierenden nicht erlaubt, mit anderen zu sprechen, bis die Auswertung abgeschlossen ist.In einem zweiten Schritt erhalten alle Studierenden einen standardisierten Fragebogen zu folgenden Themen: Benutzerfreundlichkeit (Intuitivität), Design, Realismus, Lerneffekt, Spaßfaktor sowie den Grad, gedanklich beim Szenario zu bleiben (Konzentrationslevel). Freie Textfelder dienen dazu, Empfehlungen zu geben. Mit dieser Methode sorgen wir in einem iterativen Prozess für eine regelmäßige Verbesserung unserer Plattform auf Basis der Anforderungen von Medizinstudierenden aus erster Hand. In allen vier Entwicklungsschritten erfolgt eine kontinuierliche Evaluierung mit unterschiedlichen Szenarien.4.2. Evaluation der Validität und des Kompetenzerwerbs Da unser Schwerpunkt auf der Ausbildung klinischer Kompetenzen und nicht auf dem Erwerb theoretischen Wissens liegt, haben wir uns zur Nutzung des EPA-Konzepts (Entrustable Professional Activities) von Ole ten Cate entschieden. Dieses Konzept basiert auf der Annahme, dass Vertrauen und die Erlaubnis, in einem klinischen Kontext zu handeln, durch Beobachtung von medizinischen Experten bewertet werden können. EPAs werden für 13 verschiedene Kompetenzen auf einer Skala von 0 bis 5 bewertet („der Studierende hat keinen Nutzen von der Beobachtung“ bis „der Studierende ist sicher genug, um andere Lernende anzuleiten“). Die Bewertung basiert auf strukturierten Anforderungskatalogen, aber nicht auf einem festen Checklistenkatalog, wie es bei OSCE-Bewertungen der Fall ist. Diese Strategie betont eine angestrebte Kongruenz zwischen Selbst- und Fremdeinschätzung sowie ein personalisiertes Feedback, das sowohl die Sicherheit der Patienten als auch die Selbstwirksamkeit garantiert. Um die Effektivität der Kompetenzen zu untersuchen, werden zwei Gruppen von Studenten verglichen (A+VR): Gruppe A wird mit Schauspielern interagieren, während Gruppe VR die medical tr.AI.ning-Plattform in ähnlichen Testszenarien nutzen wird. Die Teilnehmer jeder Kohorte werden nach ihrem medizinischen Wissen gematcht. Das Szenario konzentriert sich auf klinische Prozesse im Patientenmanagement. Daher werden keine theoretischen Hintergründe wie Epidemiologie, Klassifikation oder Prognose behandelt. Ziel ist es, die Studierenden schrittweise an die Entscheidungsfindung heranzuführen, damit sie lernen, wie man eine korrekte Diagnose stellt. Während der Durchführung werden das Verhalten und die Strategie der Studierenden in beiden Gruppen durch eine/n MDE im Hinblick auf das EPA-Konzept zum Vergleich bewertet. Die Grenzen dieses Studiensettings liegen vor allem in der kleinen Gruppengröße und der unterschiedlichen Erfahrung mit VR und technischen Geräten.5. PerspectiveMedical tr.AI.ning will be integrated into the current curricula of the involved universities at Homburg and Münster, and further universities will be invited. Extensive documentation and the development of guidelines and recommendations ensure the utilization and adaptability of our platform even outside of our project.The authoring tool will be able to empower further experts in medical didactics to develop new scenarios and thus guarantee sustainability of medical tr.AI.ning.5. AusblickMedical tr.AI.ning wird in die aktuellen Curricula der beteiligten Universitäten in Homburg und Münster integriert, weitere Universitäten werden eingeladen. Eine umfangreiche Dokumentation und die Entwicklung von Richtlinien und Empfehlungen stellen die Nutzung und Anpassbarkeit unserer Plattform auch außerhalb unseres Projektes sicher.Das Autorentool wird weitere Experten der Medizindidaktik in die Lage versetzen, neue Szenarien zu entwickeln und damit die Nachhaltigkeit von medical tr.AI.ning zu gewährleisten.First authorshipMarvin Mergen and Anna Junga share the first authorship.ErstautorenschaftMarvin Mergen und Anna Junga teilen sich die Erstautorenschaft.FundingThis project received funding from BMBF (Bundesministerium für Bildung und Forschung) under grant agreement number: 16DHBKI080. We acknowledge support from the Open Access Publication Fund of the University of Muenster.FörderungDieses Projekt wurde vom BMBF (Bundesministerium für Bildung und Forschung) unter dem Förderkennzeichen 16DHBKI080 gefördert. Wir danken für die Unterstützung durch den Open-Access-Publikationsfonds der Universität Münster.AcknowledgementsMany thanks to Corbin Sassen, Henriette Schulze and Leon Pielage for contributing to the concept, recording and post-production of the project video.DanksagungVielen Dank an Corbin Sassen, Henriette Schulze und Leon Pielage für ihren Beitrag zur Konzeption, Aufnahme und Nachbearbeitung des Projektvideos.The medical tr.AI.ning consortiumUniversity of Münster (CVMLS, IfAS)Benjamin Risse, Pascal Kockwelp, Leon Pielage, Valentin Brosch, Bernhard Marschall, Anna Junga, Henriette Schulze, Ole Hätscher, Niklas TiefenbachUniversity of Applied Sciences Münster (FHMS)Tina Glückselig, Kathrin Ungru, Philipp Bozdere, Julia LeuerSaarland University (UMTL, CHELM)Antonio Krüger, Dimitar Valkov, Tim Düwel, André Zenner, Florian Daiber, Erum Manzoor, Norbert Graf, Marvin Mergen, Marcel MeyerheimUniversity of Fine Art Saar (HBKsaar)Michael Schmitz, Mert Akbal, Corbin SassenDas medical Tr.AI.ning-KonsortiumUniversität Münster (CVMLS, IfAS)Benjamin Risse, Pascal Kockwelp, Leon Pielage, Valentin Brosch, Bernhard Marschall, Anna Junga, Henriette Schulze, Ole Hätscher, Niklas TiefenbachFachhochschule Münster (FHMS)Tina Glückselig, Kathrin Ungru, Philipp Bozdere, Julia LeuerUniversität des Saarlandes (UMTL, CHELM)Antonio Krüger, Dimitar Valkov, Tim Düwel, André Zenner, Florian Daiber, Erum Manzoor, Norbert Graf, Marvin Mergen, Marcel MeyerheimHochschule für Bildende Künste Saar (HBKsaar)Michael Schmitz, Mert Akbal, Corbin SassenCompeting interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.Bundesministerium für Bildung und Forschung2017Masterplan Medizinstudium 2020Bundesministerium für Bildung und Forschung. Masterplan Medizinstudium 2020. Berlin: Bundesminsterium für Bildung und Forschung; 2017. Zugänglich unter/available from: https://www.bmbf.de/bmbf/shareddocs/kurzmeldungen/de/masterplan-medizinstudium-2020.htmlhttps://www.bmbf.de/bmbf/shareddocs/kurzmeldungen/de/masterplan-medizinstudium-2020.htmlBundesministerium für Gesundheit2021Verordnung zur Neuregelung der ärztlichen Ausbildung. A. Problem und Ziel. ReferentenentwurfBundesministerium für Gesundheit. Verordnung zur Neuregelung der ärztlichen Ausbildung. A. Problem und Ziel. Referentenentwurf. Berlin: Bundesministerium für Gesundheit; 2021. Zugänglich unter/available from: https://www.bundesgesundheitsministerium.de/fileadmin/Dateien/3_Downloads/Gesetze_und_Verordnungen/GuV/A/Referentenentwurf_AEApprO.pdfhttps://www.bundesgesundheitsministerium.de/fileadmin/Dateien/3_Downloads/Gesetze_und_Verordnungen/GuV/A/Referentenentwurf_AEApprO.pdfKitsis EAShining a Light on Shadowing2011JAMA1029-1030Kitsis EA. Shining a Light on Shadowing. JAMA. 2011;305(10):1029-1030. DOI: 10.1001/jama.2011.267https://doi.org/10.1001/jama.2011.267Artemeva NRachul CO’Brien BVarpio LSituated Learning in Medical Education2017Acad Med134Artemeva N, Rachul C, O’Brien B, Varpio L. Situated Learning in Medical Education. Acad Med. 2017;92(1):134. DOI: 10.1097/ACM.0000000000001495https://doi.org/10.1097/ACM.0000000000001495Universitätsklinikum des Saarlandes2022Wahlfach-HOM-KITUniversitätsklinikum des Saarlandes. Wahlfach-HOM-KIT. Homburg: Universitätsklinikum des Saarlandes; 2022. Zugänglich unter/available from: https://www.uniklinikum-saarland.de/de/einrichtungen/kliniken_institute/medizinische_kliniken/innere_medizin_iv/lehre/wahlfach_hom_kit/https://www.uniklinikum-saarland.de/de/einrichtungen/kliniken_institute/medizinische_kliniken/innere_medizin_iv/lehre/wahlfach_hom_kit/Ruiz JGMintzer MJLeipzig RMThe Impact of E-Learning in Medical Education?: Academic Medicine2006Acad Med207-212Ruiz JG, Mintzer MJ, Leipzig RM. The Impact of E-Learning in Medical Education?: Academic Medicine. Acad Med. 2006;81(3):207-212. DOI: 10.1097/00001888-200603000-00002https://doi.org/10.1097/00001888-200603000-00002Fertleman CAubugeau-Williams PSher CLim ANLumley SDelacroix SPan XA Discussion of Virtual Reality As a New Tool for Training Healthcare Professionals2018Front Public Health44Fertleman C, Aubugeau-Williams P, Sher C, Lim AN, Lumley S, Delacroix S, Pan X. A Discussion of Virtual Reality As a New Tool for Training Healthcare Professionals. Front Public Health. 2018;6:44. DOI: 10.3389/fpubh.2018.00044https://doi.org/10.3389/fpubh.2018.00044Pottle JVirtual reality and the transformation of medical education2019Future Healthc J181-185Pottle J. Virtual reality and the transformation of medical education. Future Healthc J. 2019;6(3):181-185. DOI: 10.7861/fhj.2019-0036https://doi.org/10.7861/fhj.2019-0036Slater MPlace illusion and plausibility can lead to realistic behaviour in immersive virtual environments2009Philos Trans R Soc Lond B Biol Sci3549-3557Slater M. Place illusion and plausibility can lead to realistic behaviour in immersive virtual environments. Philos Trans R Soc Lond B Biol Sci. 2009;364(1535):3549-3557. DOI: 10.1098/rstb.2009.0138https://doi.org/10.1098/rstb.2009.0138ten Cate OEntrustability of professional activities and competency-based training2005Med Educ1176-1177ten Cate O. Entrustability of professional activities and competency-based training. Med Educ. 2005;39(12):1176-1177. DOI: 10.1111/j.1365-2929.2005.02341.xhttps://doi.org/10.1111/j.1365-2929.2005.02341.xWestfälische Wilhelms-Universität Münsterstudienhospital münster. Medzinische Ausbildung und QualifikationWestfälische Wilhelms-Universität Münster. studienhospital münster. Medzinische Ausbildung und Qualifikation. Münster: Westfälische Wilhelms-Universität Münster. Zugänglich unter/available from: https://medicampus.uni-muenster.de/4046.htmlhttp://medicampus.uni-muenster.de/4046.htmlWestfälische Wilhelms-Universität MünsterlimetteWestfälische Wilhelms-Universität Münster. limette. Münster: Westfälische Wilhelms-Universität Münster. Zugänglich unter/available from: https://medicampus.uni-muenster.de/7489.htmlhttps://medicampus.uni-muenster.de/7489.html
11en1de
Table 1: Developmental steps of the medical tr.AI.ning platform
Tabelle 1: Entwicklungsschritte der medical tr.AI.ning-Plattform
111en1de
Figure 1: (a) Allocation of project tasks, (b) design paradigm
Abbildung 1: (a) Aufteilung der Projektaufgaben, (b) Entwurfsparadigma