KI ist keine Magie

Wie glaubwürdige KI vor allem in der Medizin eine wichtige Rolle spielt

Autorin: Dr. Marika Kaden, Hochschule Mittweida, 21.03.2026

Künstliche Intelligenz (KI) durchdringt immer mehr Bereiche unseres Lebens. Von selbstfahrenden Autos bis hin zu personalisierten Empfehlungen. Die Möglichkeiten scheinen grenzenlos. Doch hinter all den beeindruckenden Anwendungen steckt keine Magie, sondern komplexe Mathematik und Datenanalyse. Besonders in kritischen Bereichen wie der Medizin ist es wichtig, die Funktionsweise von KI zu verstehen und ihr zu vertrauen – das geht nur mit glaubwürdiger, interpretierbarer KI.

Es gibt verschiedene Ansätze der KI. In den meisten Fällen handelt es sich um das Maschinelle Lernen (ML). Hier werden Modelle mit großen Datenmengen gefüttert, um Muster zu erkennen und Vorhersagen zu treffen. Ein Sonderfall davon ist das Deep Learning, das auf künstlichen neuronalen Netzen basiert, die von der Funktionsweise des menschlichen Gehirns inspiriert und oft sehr komplex sind.

Die Anwendungsmöglichkeiten von ML in der Medizin sind enorm. Sie reichen von der Früherkennung von Krankheiten über die personalisierte Behandlung bis hin zur Unterstützung bei Operationen. ML-Systeme können beispielsweise Röntgenbilder auf Anzeichen von Lungenkrebs analysieren, die sogar erfahrenen Radiologen entgehen könnten. Sie können auch genetische Daten analysieren, um die Risikobereitschaft für bestimmte Krankheiten vorherzusagen, oder personalisierte Medikamentenpläne erstellen, die auf die individuellen Bedürfnisse des:der Patient:in zugeschnitten sind. Dies alles beruht darauf, große Datenmengen bezüglich einer konkreten Fragestellung zu analysieren und ein komplexes Modell zu trainieren.

Doch gerade in der Medizin, wo es um Leben und Gesundheit geht, ist Vertrauen entscheidend. Dieses Vertrauen leidet oft darunter, dass viele ML-Systeme als sogenannte Blackbox gelten. Das bedeutet, dass zwar die Ausgabe des Models bekannt ist, beispielsweise die Diagnose einer Krankheit und der Weg dorthin, jedoch lässt sich von der abstrakten Nutzung der Daten in solchen Modellen keine oder eine nur begrenzt verständliche Bedeutung ableiten.

Erklärbare KI: Ein Blick ins Innere der Blackbox

Um etwas Licht in diesen Entscheidungsprozess zu bringen, werden Methoden der Erklärbaren KI (Explainable AI, XAI) angewendet. XAI ist ein Forschungsfeld, das sich damit beschäftigt, bestehende ML (Blackbox)-Modelle transparenter und verständlicher zu machen. Diese Methoden werden im Nachgang (post-hoc) angewendet mit dem Ziel, nicht nur das was ein Algorithmus entscheidet, sondern auch warum er diese Entscheidung trifft, für den Menschen nachvollziehbarer zu machen.

Es gibt verschiedene Ansätze, um XAI umzusetzen:

1. Feature Importance: Diese Methode zeigt, welche Merkmale (Features), wie z. B. die Werte in einem Blutbild, den größten Einfluss auf die Entscheidung des Algorithmus hatten. Dabei sind diese beiden die wohl bekanntesten:
   • Local Interpretable Model-agnostic Explanations (LIME): LIME erklärt die Vorhersage eines einzelnen Datenpunkts, indem es ein vereinfachtes, interpretierbares Modell in der Nähe dieses Punkts erstellt.
   • SHapley Additive exPlanations (SHAP): SHAP verwendet spieltheoretische Konzepte, um den Beitrag jedes Merkmals zur Vorhersage zu quantifizieren.
2. Visualisierung:  Die Visualisierung der Entscheidungsprozesse durch Heatmaps oder andere grafische Darstellungen kann helfen, die Funktionsweise des Algorithmus zu verstehen.
3. Gegenbeispiele (Counterfactuals): Dabei wird aufgezeigt, was sich hätte ändern müssen im Bezug zu einer Eingabe, um zu einem anderen Ergebnis zu gelangen. Dies ermöglicht es Ärzt:innen, die Robustheit der KI-Entscheidung zu bewerten und zu verstehen, welche Faktoren wirklich entscheidend für die Diagnose waren, indem sie alternative Szenarien durchspielen können.

Modelle, die im Nachgang mit solchen Ansätzen erklärt werden, werden auch als Graybox-Modelle bezeichnet. Im Allgemeinen wird aber hier ein ML-Entscheidungsmodell auf gewisse Aspekte untersucht und die Erklärungen werden oft durch Vereinfachung (Linearisierung) der Modelle gewonnen. Dies kann dazu führen, dass es zu Fehlinterpretationen oder Missverständnissen kommt.

Aus diesem Grund gibt es im Maschinellen Lernen das Forschungsfeld der interpretierbaren Modelle per Design, d. h., dass bei der Entwicklung von KI-Modellen von vornherein darauf geachtet wird, dass sie transparent und besser verständlich sind.

Interpretierbar? - Es kommt drauf an!

Aber was heißt denn interpretierbar? Das ist eine sehr schwierige Frage und die Antwort ist: „Es kommt drauf an!“. Es gibt verschiedene Aspekte, die für ein besseres Verständnis, Vertrauen und Akzeptanz eine Rolle spielen (können):

• Einfluss der Eingangsgrößen/Merkmale auf die Entscheidung (relevance learning): Ein sehr entscheidender Punkt ist auch bei den Interpretierbaren Modellen, dass bekannt ist, auf welche Informationen sich das Modell beruft und welche essenziell für die Entscheidung sind.
• Smarte und robuste Entscheidungen (low data budget & model certainty): Die Modellgröße sollte angemessen sein und mit möglichst geringen Ressourcenverbrauch zu einer Entscheidung kommen.
• Integration von Vor- und Anwenderwissen (knowledge-informed AI): Nutzen und Modellieren des Expertenwissens führt zu einem intelligenten ML-Design und schafft Vertrauen in die Modelle.
• Validierung von Entscheidungswegen (causal learning): Überprüfen der Logik und der Schritte der Entscheidungsfindung, um sicherzustellen, dass sie korrekt sowie nachvollziehbar und mit Fachwissen übereinstimmen.
• Angabe von Modellgrenzen & Problemzurückweisung (rejection strategies): Nicht immer ist eine Entscheidung eindeutig und auch dies sollte ein ML-System widerspiegeln. Aussagen über (Un-)Sicherheiten und auch Zurückweisung, wenn eine Eingabe unbekannt ist, also sich wesentlich von den Trainingsdaten unterscheidet, sind essenziell für eine Akzeptanz.
• Bias-Erkennung in Trainingsdaten & Eliminierung (bias mitigation): Ein oft angesprochenes Problem sind Verzerrungen in den Trainingsdaten, z. B. der Gender- oder Ethikbias. Abhilfe könnten hier ebenfalls ML-Modelle leisten, die die Verzerrung detektieren und gegebenfalls abschwächen oder gänzlich eliminieren.

Im Allgemeinen gibt es jedoch kein interpretierbares ML-Modell, das alle Aspekte pauschal erfüllt. Gleichzeitig sind in den einzelnen Anwendungsfällen nicht immer sämtliche Aspekte erforderlich. Dennoch lassen sich Lösungen für die oben genannten Anforderungen meist direkt auf Basis interpretierbarer Modelle formulieren. Blackbox-Modelle hingegen erfordern zusätzliche Methoden und/oder architektonische Anpassungen, sodass sie eher als Graybox-Modelle eingeordnet werden können.

Um das passende ML-Modell auszuwählen, müssen sowohl die konkreten Problemstellungen als auch die zugrunde liegenden Daten sorgfältig analysiert werden. Ein häufiger Fehler besteht darin, sich vorschnell auf die neuesten Algorithmen zu konzentrieren, ohne zunächst die zentrale Frage zu klären: Welches Problem soll eigentlich gelöst werden? Hier ist ein interdisziplinärer Austausch unerlässlich.

Das Wissen von Domänenexpert:innen ist notwendig, um das Problem präzise zu definieren und relevante Daten zu identifizieren. Datenwissenschaftler:innen können diese Grundlage anschließend nutzen, um die Daten zu analysieren, aufzubereiten und eine erste Einschätzung hinsichtlich Datenqualität und -verfügbarkeit vorzunehmen. Genau an dieser Stelle kann das KIMed-Netzwerk unterstützen, indem es unterschiedliche Expertisen zusammenführt und so die Entwicklung sowie das Training eines problemangepassten ML-Modells ermöglicht, um fundierte und vertrauenswürdige Entscheidungen zu treffen.

Zusammenfassend gilt: Es gibt nicht DAS Maschinelle Lernmodell oder DIE KI, die alle Probleme lösen kann. In jedem Fall müssen sich ML-Expert:innen mit klinischem Fachpersonal austauschen, um gemeinsam realistische Problemstellungen zu definieren und geeignete Lösungen anzustreben.