1. Journals Overview
    2. GMS Medizinische Informatik, Biometrie und Epidemiologie
    3. Volume 21
    4. Recommendations for the implementation of AI applications in German (university) hospitals
journal_logo

GMS Medizinische Informatik, Biometrie und Epidemiologie

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS)

1860-9171


The full text of this article is only available in German.
GMDS-Verlautbarung
KI in der Medizin

[Recommendations for the implementation of AI applications in German (university) hospitals]

 Hans-Ulrich Prokosch 1
Klaus Jung 2
Ulrich Sax 3
André Scherag 4
Rainer Röhrig 5

1 Lehrstuhl für Medizinische Informatik, Friedrich-Alexander-Universität Erlangen-Nürnberg, Erlangen, Deutschland
2 Institut für Tiergenomik, Tierärztliche Hochschule Hannover, Deutschland
3 Institut für Medizinische Informatik, Universitätsmedizin Göttingen, Deutschland
4 Institut für Medizinische Statistik, Informatik und Datenwissenschaften, Universitätsklinikum Jena, Deutschland
5 Institut für Medizinische Informatik, Uniklinik RWTH Aachen, Deutschland

Abstract

In recent years, the rapidly increasing capabilities of modern AI technologies and the ever-growing availability of medical data have both driven the desire and increased the pressure to use AI more extensively to improve medical diagnoses and predictions, as well as to facilitate clinical workflows. Data sources, such as those emerging within the framework of the German Medical Informatics Initiative or the University Medicine Network, are already widely used for AI model development. Numerous publications provide impressive evidence of the large number of excellent research results that have been achieved and published in Germany in recent years. However, the step towards the ultimate implementation, deployment, and practical use of these AI models in medical and nursing care has so far been achieved far too rarely in Germany. Therefore, the GMDS advocates for a significant strengthening of translational research aimed at successful AI implementation. With the six recommendations presented here, it seeks to initiate the establishment of appropriate structures and processes for the management and monitoring of AI applications (AI governance) at German (university) hospitals, so that physicians and researchers receive support through clear guidelines and checklists in order to safely introduce and operate trustworthy AI solutions.

Keywords

AI model development, AI implementation, AI governance

Empfehlungen

Die in den letzten Jahren deutlich stärker gewordene Leistungsfähigkeit moderner KI-Technologien hat sowohl den Wunsch als auch den Druck erhöht, KI vermehrt einzusetzen, um medizinische Diagnosen und Vorhersagen zu verbessern sowie weitere klinische Arbeitsprozesse zu erleichtern, etwa die Dokumentation von Behandlungen. Daneben haben große Fördermaßnahmen erheblich zur Datengrundlage für die Entwicklung und Einführung von KI-Anwendungen in der Medizin beigetragen.

Mit der Förderung der Medizininformatik-Initiative (MII) und dem Aufbau von Datenintegrationszentren (DIZ) an allen deutschen Universitätskliniken sowie deren Vernetzung über das nationale Forschungsdatenportal für Gesundheit (FDPG) hat das BMBF/BMFTR eine wichtige Grundlage geschaffen, um klinische Krankenversorgungsdaten aus den Universitätskliniken zu erschließen und diese in einer harmonisierten Form für großvolumige Forschungsprojekte über einen zentralen Zugangspunkt verfügbar zu machen.

Die Förderung des Netzwerks Universitätsmedizin (NUM) hat darüber hinaus dazu geführt, dass weitere Datenbereiche (u.a. radiologische Bilder, Omics-Daten, Daten aus klinischen Studien) mit den Versorgungsdaten aus den Universitätskliniken verknüpft und für die medizinische Forschung bereitgestellt werden können.

Diese Daten werden bereits intensiv, u.a. auch für die Entwicklung von KI-Modellen, genutzt.

Zahlreiche aktuelle Publikationen zeigen eindrucksvoll, dass in Deutschland in den letzten Jahren eine große Zahl hervorragender KI-Forscherinnen und -Forscher aus unterschiedlichen Disziplinen erfolgreich innovative Modelle entwickelt, trainiert und in führenden internationalen Fachzeitschriften publiziert hat. Diese Arbeiten erreichen vielfach exzellente Ergebnisse und genießen international hohe Anerkennung. Dennoch gelingt es bislang nur selten, den letzten Schritt zur Einführung, Inbetriebnahme und praktischen Nutzung dieser KI-Modelle konsequent umzusetzen: Nahezu alle Publikationen enden mit einem Hinweis auf Limitationen, die unter anderem auf eine zu geringe Menge an Trainingsdaten, nicht repräsentative Datensätze, fehlende externe Validierung der Modelle oder auf regulatorische Hürden zurückzuführen sind. Dies bietet zwar das Potential für weitergehende Forschung zur Modellverbesserung, führt aber eben nicht zur Routinenutzung der entwickelten und publizierten Modelle.

Die GMDS sieht es als unerlässlich an, verstärkt Anstrengungen in die praktische Umsetzung und den dauerhaften Betrieb von KI-Modellen in deutschen (Universitäts-)Kliniken zu investieren. Dafür sollten geeignete Strukturen zur Steuerung und Überwachung von KI-Anwendungen (KI-Governance) aufgebaut werden. Diese Strukturen sollen Ärztinnen, Ärzten und Forschenden durch klare Richtlinien und Checklisten helfen, vertrauenswürdige KI-Lösungen sicher einzuführen und zu betreiben.

Wir benötigen deutlich mehr translationale Forschung, die auf eine erfolgreiche KI-Implementierung abzielt, auch wenn die Hürden hier viel höher sind als für die KI-Modell-Entwicklung.

Der aktuelle Stopp von KI-Systemen zur Transkription medizinischer Texte in Großbritannien – aufgrund von Defiziten im Stand der Technik und der Nichteinhaltung regulatorischer Vorgaben [1], [2] – zeigt deutlich, dass mangelnde Investitionssicherheit ein zentrales und bislang oft unterschätztes Risiko bei KI-Projekten darstellt. Dies darf kein Argument gegen den Einsatz von KI sein. Vielmehr macht es deutlich, dass (Universitäts-)Kliniken eine zentrale und klar strukturierte KI-Strategie benötigen, die auf Vorstandsebene verankert ist und klare Schritte bei der Entwicklung, der Evaluation, dem Betrieb und der Überwachung der Systeme im Betrieb vorschreibt sowie die dafür notwendige Infrastruktur bereitstellt.

Zu diesem Zweck empfiehlt die GMDS den Aufbau sogenannter „Living Labs“ an (Universitäts-)Kliniken. Diese interdisziplinären Reallabore sind notwendig, um KI-Anwendungen unter realen Bedingungen zu entwickeln, zu validieren und kontinuierlich zu überwachen. So kann gewährleistet werden, dass der Einsatz von KI dem Wohl der Patientinnen und Patienten in der Gesundheitsversorgung dient und die regulatorischen Anforderungen erfüllt werden können.

Handlungsempfehlungen:

  1. (Universitäts-)Kliniken müssen KI-Governance mit klaren Strukturen sowie definierten Aufgaben, Kompetenzen, Verantwortungsbereichen und Prozessen etablieren, um sicherzustellen, dass in der Routine genutzte KI-Implementierungen vertrauenswürdig sind. Es sind Anforderungen zu definieren, die transparent kommuniziert werden und deren Erfüllung durch Checklisten zu prüfen ist.
  2. (Universitäts-)Kliniken müssen über ein Change Advisory Board (CAB) für die digitale Infrastruktur verfügen, in dem auch die Kompetenz zur Beurteilung von KI-Systemen vertreten ist. Es ist die Position eines/einer KI-Beauftragten (CAIO) einzurichten, die auf die Kompetenzen eines interdisziplinären Teams aus Medizinischer Informatik, Biometrie, Bioinformatik, Regulatory Affairs, Routine-IT und gegebenenfalls weiterer Expertinnen und Experten zurückgreifen können muss. Im Gegensatz zu den Vorgaben im Kriterienkatalog des BSI zur Integration von extern bereitgestellten generativen KI-Modellen in eigene Anwendungen („Die Einrichtung MUSS einer/einem Mitarbeitenden die Rolle der/des KI-Zuständigen zuweisen. Es KANN sich hierbei um die/den IT-Sicherheitsbeauftragte/n handeln.“ [3]), sind wir der Meinung, dass die reine Verknüpfung dieser Person mit den Kompetenzen eines/einer IT-Sicherheitsbeauftragten für ein Universitätsklinikum nicht ausreichend ist.
  3. Für KI-Systeme gelten die gleichen Sorgfaltsprinzipien und Anforderungen an den System-Life-Cycle wie für alle anderen IT-Systeme. Zur Sicherstellung der (Patienten-)Sicherheit und der Performance der Systeme sollten (Universitäts-)Kliniken daher u.a. die folgenden Maßnahmen umsetzen:
    a. Werden KI-Systeme bzw. medizinische Software inhouse entwickelt, sollten die (Universitäts-)Kliniken eine qualifizierte Person etablieren, die für die Einhaltung der regulatorischen Anforderungen verantwortlich ist, bei Eigenentwicklungen die Einhaltung des Stands der Technik sicherstellt sowie für die kontinuierliche Überwachung im Einsatz befindlicher KI- und Software-Lösungen zuständig ist.
    Diese Person sollte unabhängig von den jeweiligen Entwicklungsteams sein und direkt an den Vorstand berichten. Zur Berücksichtigung berufsrechtlicher und berufsethischer Belange bei Forschungsvorhaben ist eine Abstimmung mit der jeweils zuständigen Ethikkommission erforderlich.
    b. Es sind vor der Inbetriebnahme von KI-Systemen oder deren Updates obligatorische Integrationstests in die bereits vorhandene IT-Infrastruktur durchzuführen. Daher sollten (Universitäts-)Kliniken KI-Implementierungslabore (Reallabore, Living Labs) einrichten, um die Validierung, Zertifizierung und Implementierung von vertrauenswürdigen KI-Anwendungen zu unterstützen. Dies umfasst sowohl den Test mit Realdaten, wie auch die Interaktionen mit denjenigen IT-Systemen, die ggf. Daten aus den KI-Systemen weiterverarbeiten. Dies sollte eine interdisziplinäre, synergetische Anstrengung von akademischen Instituten und der Routine-IT sein.
  4. (Universitäts-)Kliniken müssen ein von den Entwicklerinnen und Entwicklern sowie den Eigenherstellern und Eigenherstellerinnen unabhängiges Vigilanzsystem für den Betrieb implementieren, welches Vorkommnisse und kritische Ereignisse analysiert, mit den Entwicklungsteams und Herstellern bzw. den Betreiberinnen und Betreibern kommuniziert und sicherstellt, das geeignete korrektive Maßnahmen ergriffen und umgesetzt werden, sowie deren Wirksamkeit prüfen und bewerten. Darüber hinaus ist ein Gremium erforderlich, welches die in der klinischen Routine gesammelten Erfahrungen hinsichtlich dem Leistungsversprechen der Systeme bewertet.
  5. (Universitäts-)Kliniken müssen ein mehrstufiges Aus- und Weiterbildungsprogramm zur KI-Kompetenz implementieren, welches die unterschiedlichen Kompetenzerfordernisse der verschiedenen Personengruppen innerhalb eines Krankenhauses berücksichtigt (vgl. hierzu auch EU AI-Akt Art. 4).
  6. Im Lehrangebot für Medizinstudierende müssen an den deutschen Medizinischen Fakultäten Schulungsinhalte zum Verständnis von KI-Grundkonzepten, sowie damit verbundener Optionen, aber auch verbleibender Risiken etabliert werden. Dies könnte z.B. durch den Querschnittsbereich 1 „Epidemiologie, Medizinische Biometrie und Medizinische Informatik“ geschehen. In das Medizinstudium sollten Lernziele aufgenommen werden, die ein grundlegendes Verständnis über die Funktionsweise verschiedener KI-Methoden vermitteln. Dabei ist insbesondere deren Anwendung in medizinischen Entscheidungsprozessen, in der Organisation des Gesundheitswesens sowie in der Forschung und Lehre zu berücksichtigen. Die Studierenden sollen sowohl die Stärken und Schwächen der jeweiligen Technologien als auch die damit verbundenen ethischen und rechtlichen Herausforderungen verstehen. Zudem ist die persönliche Verantwortung bei der Anwendung von KI-Systemen im medizinischen Kontext kritisch zu reflektieren.

Die Empfehlungen gelten auch für Institutionen mit einem Auftrag zu Forschung, Lehre und Krankenversorgung in anderen Gesundheitsberufen (z.B. Zahnmedizin, Pflege, Logopädie, Physiotherapie, Geburtshilfe). Bei dem Aufbau der Infrastruktur sollten unter dem Aspekt „One Health“ auch die Anforderungen der Veterinärmedizin berücksichtigt werden.

Anmerkungen

Erstellung und Konsensprozess des Empfehlungsschreibens

Aus dem Präsidium der GMDS heraus hat sich eine kleine Arbeitsgruppe gebildet, die diese Empfehlungen aufgesetzt hat. Anschließend wurde die finale Version dem gesamten Präsidium vorgelegt und im Rahmen eines Umlaufbeschlusses am 29. Juli 2025 einstimmig zur Veröffentlichung freigegeben.

Interessenkonflikte

Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.

Literatur

[1] National Health Service (NHS). AI-enabled ambient scribing products in health and care settings. Version 1.0. [updated 2025 Apr 27; cited 2025 Nov 1]. Available from: https://www.england.nhs.uk/long-read/ai-enabled-ambient-scribing-products-in-health-and-care-settings/
[2] Moberly T. Doctors must stop using unregistered AI scribe tools, says NHS England. BMJ. 2025;389:r1302. DOI: 10.1136/bmj.r1302
[3] Bundesamt für Sicherheit in der Informationstechnik (BSI). Kriterienkatalog des BSI zur Integration von extern bereitgestellten generativen KI-Modellen in eigene Anwendungen. Version 1.0. [updated 2025 Jun 6; cited 2025 Nov 1]. Available from: https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Kriterienkatalog_KI-Modelle_Bundesverwaltung.pdf?__blob=publicationFile&v=3
[4] National Academy of Medicine. An Artificial Intelligence Code of Conduct for Health and Medicine: Essential Guidance for Aligned Action. Washington, DC: The National Academies Press; 2005. DOI: 10.17226/29087