AI und Patientenversorgung: Wer trägt die Verantwortung?

Wenn KI Ihre Pflege bestimmt: Die Governance-Fragen, die jeder Stakeholder stellen sollte – und niemand tut es

Eine Untersuchung hat ein KI-Tool aufgedeckt, das von einem großen Versicherer genutzt wird und mehr als 300.000 Anträge innerhalb von zwei Monaten abgelehnt hat. Die Ablehnungen wurden in Minuten generiert – schneller, als ein menschlicher Prüfer eine einzige Akte lesen könnte. Die meisten Patienten haben nie Widerspruch eingelegt. Sie gingen davon aus, dass der Algorithmus etwas wusste, das ihr Arzt nicht wusste. Einige gingen einfach ohne die notwendige Behandlung. Diese Annahme ist die Governance-Krise, die bisher niemand vollständig benannt hat.

Ein 62-jähriger Mann mit einer dokumentierten komplexen Herzkrankheit wurde die Kostenübernahme für eine spezialisierte Herzrehabilitation verweigert. Sein Kardiologe hielt sie für klinisch unerlässlich. Das automatisierte System seines Versicherers hatte die Behandlungscodes als nicht erfüllend für die medizinischen Notwendigkeitskriterien markiert. Er erhielt keine Erklärung, ob ein Arzt seine Akte geprüft hatte oder ob die Entscheidung algorithmisch in Sekunden generiert worden war. Er nahm an, dass das System etwas wusste, das sein Kardiologe nicht wusste. Er legte keinen Widerspruch ein und gehörte zu den über 80 % der Patienten, die dies nie tun – und zu den weniger als 0,2 % der Ablehnungen, die, wenn er Widerspruch eingelegt hätte, fast sicher aufgehoben worden wären.

Die zentrale Frage

Die Kernfrage ist deceptiv einfach: Wenn ein Patient mit einer Entscheidung im Gesundheitswesen, die von KI beeinflusst wurde, nicht einverstanden ist, wer ist dann verantwortlich – und welche Rechte hat der Patient tatsächlich? Wie die Agentur für Gesundheitsforschung und -qualität 2024 dokumentierte, sind die unbeantworteten Fragen im Zentrum von KI im Gesundheitswesen genau diese: Was tun Sie, wenn Sie mit einem Algorithmus nicht einverstanden sind? Wer übernimmt die Haftung für das Einverständnis oder die Ablehnung einer KI-Empfehlung? Wir stoßen bereits auf diese Fragen.

Aktuelle Situation

ECRI hat unzureichende KI-Governance als das zweithöchste Risiko für die Patientensicherheit im Jahr 2025 eingestuft und festgestellt, dass nur 16 % der Krankenhausleiter im Jahr 2023 über eine systemweite Governance-Politik für die Nutzung von KI und den Zugang zu Daten berichteten. Das Vakuum ist nicht theoretisch. Es ist eine tägliche betriebliche Realität, in der KI-Systeme klinische und Deckungsentscheidungen beeinflussen, während Patienten, Kliniker und Regulierungsbehörden noch verhandeln, wer für deren Aufsicht verantwortlich ist.

Im Februar 2024 hat die CMS versucht, die Grenzen zu klären. In ihrem FAQ-Memo wurde ausdrücklich erklärt, dass ein Algorithmus die individuellen medizinischen Umstände eines Patienten nicht außer Kraft setzen kann – dass KI bei der Kostenübernahme unterstützen, jedoch die individuelle Prüfung, die eine ärztliche Empfehlung erfordert, nicht ersetzen darf. Diese Regelung war bedeutend. Sie schuf jedoch nicht die operationale Struktur, um sie durchzusetzen. Zu wissen, dass die Regel existiert, und ein System zu haben, das strukturell Verstöße dagegen verhindert, sind zwei völlig verschiedene Dinge.

Die Rolle der Stakeholder

Fünf Stakeholder stehen im Zentrum jeder von KI beeinflussten Entscheidungsfindung im Gesundheitswesen: Versicherer, Anbieter, Regulierungsbehörden, Patienten und die Technologie selbst. Keiner hat die volle Verantwortung übernommen. Alle müssen mit der gleichen Frage beginnen: Was ist meine Rolle, wenn der Algorithmus falsch liegt?

Versicherer müssen fragen: Treffen unsere KI-Modelle die endgültige Entscheidung oder liefern sie nur Input an einen menschlichen Prüfer, der unabhängiges klinisches Urteilsvermögen ausübt, bevor eine Ablehnung dem Patienten mitgeteilt wird? Ab 2026 wird die CMS von den Versicherern verlangen, dass sie für jede KI-unterstützte Ablehnung einen spezifischen Grund angeben und aggregierte Genehmigungsdaten veröffentlichen. Das ist keine Reporting-Bürde – es ist ein Verantwortungsrahmen. Organisationen, die nicht bereits darauf hinarbeiten, sind im Rückstand.

Anbieter müssen fragen: Hat unsere Einrichtung ein dokumentiertes Protokoll dafür, wie Widersprüche gegenüber KI-generierten klinischen Entscheidungshilfen aufgezeichnet, eskaliert und gelöst werden? Die Position des American College of Physicians von 2024 ist unmissverständlich: KI sollte die Entscheidungsfindung der Ärzte unterstützen, nicht ersetzen. Die Governance-Frage für Anbieter ist, ob ihre Arbeitsabläufe dieses Prinzip strukturell widerspiegeln oder es nur in der politischen Sprache behaupten.

Patienten müssen fragen: Habe ich das Recht zu erfahren, wann ein KI-System eine Entscheidung über meine Pflege beeinflusst hat, und habe ich einen klaren Weg, Widerspruch einzulegen? Die Antwort variiert je nach Bundesstaat. Wo Sie derzeit leben, bestimmt, welche Rechte Sie haben, wenn ein Algorithmus Ihre Pflege beeinflusst.

Regulierungsbehörden müssen fragen: Ist „bedeutende menschliche Überprüfung“ so spezifisch definiert, dass Organisationen sie nicht einfach erfüllen können, indem sie Entscheidungen in Sekundenschnelle durch einen Menschen leiten, der das KI-Ergebnis absegnet?

Schritte zur Lösung

Kein Stakeholder hat die volle Antwort noch. Das ist jedoch kein Grund für Untätigkeit – es ist der Kontext für dringende Zwischenlösungen. Jede Organisation, die KI in klinischen oder Deckungsentscheidungen einsetzt, sollte eine von Menschen generierte Prüfspur für jedes KI-beeinflusste Ergebnis verlangen – nicht als Compliance-Übung, sondern als Beweisgrundlage, wenn ein Patient eine Entscheidung anfechtet. Jede Ablehnung sollte eine klare Erklärung enthalten, ob ein KI-Modell beteiligt war und welche Widerspruchsrechte der Patient hat. Jedes Governance-Gremium, das die Gesundheits-KI überwacht, sollte Anbieter, Patienten mit ihren Vertretern, Versicherer und Gesundheitsregulierungsbehörden mit tatsächlichem Stand haben, um die Bereitstellung zu stoppen, wenn Transparenzpflichten nicht erfüllt werden.

Das Gesundheitswesen befindet sich an einem Wendepunkt, der nur einmal in einer Generation kommt. KI kann Diagnosezeiten verkürzen, Bedingungen früher erkennen, die administrative Belastung verringern, die zu einer Erschöpfung der Kliniker führt, und qualitativ hochwertige Pflege für Bevölkerungsgruppen bieten, die historisch vom bestehenden System unterversorgt sind. Dieses Potenzial verschwindet nicht, weil Governance schwierig ist. Es beschleunigt sich, wenn Governance gut gemacht wird – weil Patienten aktiver in ein System eingreifen, dem sie vertrauen, Kliniker Werkzeuge übernehmen, die sie erklären können, und Regulierungsbehörden eine schnellere Bereitstellung zulassen, wenn die Verantwortungsinfrastruktur bereits vorhanden ist. Die richtige Governance ist nicht das Hindernis für das Versprechen der KI im Gesundheitswesen. Es ist der Weg dorthin.