KI im Krankenhaus: Von der Idee zum sicheren, geprüften Betrieb

Wie ein Governance-Rahmen aus Werten, klaren Rollen und verlässlichen Prozessen den verantwortungsvollen KI-Einsatz in der klinischen Praxis ermöglicht

Autoren: Prof. Dr. Thomas Neumuth, Prof. Dr. Toralf Kirsten, Universitätsmedizin Leipzig, 27.07.2026

Künstliche Intelligenz hält Einzug in den klinischen Alltag, von der diagnostischen Entscheidungsunterstützung bis zur automatisierten Dokumentation. Gleichzeitig setzen die europäische KI-Verordnung (AI Act), die Medizinprodukteverordnung (MDR) und die Datenschutz-Grundverordnung einen dichten regulatorischen Rahmen, der Krankenhäuser vor eine praktische Frage stellt: Wie lässt sich KI so einführen, dass Innovation möglich bleibt und zugleich Sicherheit, Ethik und Recht gewahrt sind? Die Guideline, entstanden aus der Erarbeitung einer KI-Richtlinie für ein deutsches Universitätsklinikum, übersetzt diese Anforderungen in ein praxistaugliches Governance-Modell [1].

Die Guideline umfasst fünf verbindliche Kernaussagen. An erster Stelle steht ein Grundsatz, der auch die Debatte um ärztliche Verantwortung prägt: KI unterstützt, ersetzt aber nicht. Die Gesamtverantwortung, insbesondere die ärztliche, verbleibt stets beim Menschen. Daraus folgen die weiteren Festlegungen: Jede Anwendung wird geprüft, ethisch bewertet und verständlich erklärt; Verantwortung ist zwischen Nutzenden, Entwickelnden und Betreibenden klar verteilt; jedes KI-System durchläuft einen zentralen, dokumentierten Einführungsprozess; und Verstöße haben arbeits-, zivil- und gegebenenfalls strafrechtliche Konsequenzen.

Untermauert wird dies durch einen Werterahmen aus drei Leitsätzen und sieben Grundsätzen, die von „Unterstützung statt Ersatz“ über Fairness und Rechenschaftspflicht bis zur Erklärbarkeit reichen. Sie spiegeln die Kernanforderungen der EU-Hochrangigen Expertengruppe für vertrauenswürdige KI wider [2] und lassen sich über die Selbstbewertungsliste ALTAI operationalisieren [3].

Die Einordnung eines KI-Systems in eine der fünf Risikokategorien des AI Act ist der zentrale Steuerungsmechanismus der Governance. Sie bestimmt Umfang von Risikoanalyse, Dokumentation, Transparenzpflichten und Freigabe. Das Spektrum reicht von unzulässigen Praktiken wie Social Scoring (Kategorie I, vollständig verboten) über Hochrisiko-KI, etwa medizinische Diagnostik, mit systematischer Risikoanalyse und Verzahnung mit der MDR bis hin zu GPAI-Modellen wie großen Sprachmodellen mit eigenen Dokumentationspflichten. Wichtig für den Klinikkontext: KI-Systeme, die diagnostische oder therapeutische Entscheidungen unterstützen, gelten grundsätzlich als Medizinprodukte und müssen als solche zugelassen sein.

Vor jeder Inbetriebnahme greifen Verifizierungspflichten. Dazu zählen eine Teststellung im realen Einsatzbereich, die Prüfung der CE-Kennzeichnung und der Konformitätserklärung sowie bei lückenhaften Nachweisen eine unabhängige Validierung. Darüber hinaus wird jede Anwendung in einem hausinternen KI-Register dokumentiert. Dies dient als Single Source of Truth für Transparenz, Audits und Vigilanz.

Die Verantwortung verteilt sich auf drei operative Rollen: Nutzende, Entwickelnde bzw. Herstellende und namentlich benannte Betreibende für jedes KI-System. Hinzu kommen drei zentrale Stellen: ein KI-Office als sichtbare Anlaufstelle mit eigenem Mandat, eine interdisziplinäre AG KI-Regulatorik mit Fachpersonen aus Qualitätsmanagement, Compliance, Datenschutz, IT-Sicherheit, Medizintechnik und Justiziariat sowie das Projektmanagement-Office unter Einbindung der Beauftragten für Datenschutz und Informationssicherheit. Strukturell verankern lässt sich dieses Gefüge in einem Managementsystem nach ISO/IEC 42001 [4].

Jedes KI-Vorhaben durchläuft einen einheitlichen achtstufigen Pfad. Dieser reicht von der Idee (1) über die Erstberatung durch das KI-Office (2), die regulatorische Checkliste zur Einstufung als Medizinprodukt, zur Risikoklassifizierung und ALTAI-Bewertung (3), den Registereintrag (4), die Bewertung durch die AG Regulatorik (5) und die obligatorische Beratung bei Anwendungen in Versorgung und Verwaltung (6) bis hin zum PMO-Antrag einschließlich Kosten-Nutzen-Entscheidung (7) und dem laufenden Betrieb mit kontinuierlicher Vigilanz (8). Ideen werden so früh kanalisiert, regulatorisch bewertet und vor jeder Investitionsentscheidung vollständig dokumentiert.

Flankiert wird der Prozess von einer klaren Nutzungsvoraussetzung. Erst nach einer Schulung, einem dokumentierten Kompetenznachweis und der schriftlichen Genehmigung durch die vorgesetzte Person wird das Nutzungsrecht erteilt. Damit wird die Verpflichtung zur Sicherstellung von KI-Kompetenz gemäß Art. 4 der KI-Verordnung direkt umgesetzt. Dass die Regeln keine bloßen Absichtserklärungen sind, zeigt der Sanktionsrahmen. Die KI-Verordnung sieht Bußgelder von bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes vor, die DSGVO zusätzlich bis zu 20 Millionen Euro oder vier Prozent.

Die Guideline zeigt, dass die Einführung von KI im Krankenhaus kein rein technisches, sondern vor allem ein organisatorisches Projekt ist. Wer Werterahmen, Risikoklassifizierung, klare Verantwortlichkeiten und einen standardisierten Einführungsprozess kombiniert, schafft die Grundlage für einen KI-Einsatz, der Innovation ermöglicht und zugleich Patientensicherheit, ärztliche Verantwortung und regulatorische Compliance sichert. Zehn Handlungsempfehlungen — vom verankerten Leitbild bis zu transparenten Meldewegen — überführen das Rahmenwerk in den Klinikalltag.