VHA’s KI-Nutzung birgt potenzielle Risiken für die Patientensicherheit
Die Nutzung von generativer künstlicher Intelligenz (KI) durch die Veterans Health Administration (VHA) für die klinische Versorgung stellt laut einer neuen Analyse des Büros des Inspektors General (OIG) ein „potenzielles Risiko für die Patientensicherheit“ dar.
Analyse der Risiken
Die Überprüfung vom 15. Januar zeigt, dass die VHA über keinen formalen Mechanismus verfügt, um Risiken, die mit generativer KI verbunden sind, zu identifizieren, zu verfolgen oder zu lösen. Dies wirft Bedenken auf, wie die Patientensicherheit geschützt wird, während die Technologie in klinischen Umgebungen eingesetzt wird.
Fehlende Koordination
Laut dem OIG wird die KI-Initiative der VHA durch eine „informelle Zusammenarbeit“ zwischen dem amtierenden Direktor des Nationalen KI-Instituts und dem Chief AI Officer innerhalb des Büros für Informationstechnologie der VA vorangetrieben. Die OIG stellte fest, dass diese Beamten nicht mit dem Nationalen Zentrum für Patientensicherheit koordiniert haben, als sie KI-Chat-Tools für die klinische Nutzung autorisierten.
Genehmigte KI-Tools
Die VHA hat zwei KI-Chat-Tools zur Nutzung mit Patientendaten autorisiert: Microsoft 365 Copilot Chat und VA GPT, ein neu eingeführtes internes Chat-Tool, das für VA-Mitarbeiter konzipiert ist. Während diese Tools dazu gedacht sind, die klinische Entscheidungsfindung zu unterstützen, warnt das OIG, dass generative KI-Systeme ungenaue oder unvollständige Ergebnisse produzieren können, einschließlich Auslassungen, die Diagnosen oder Behandlungsentscheidungen beeinflussen könnten.
Bedenken hinsichtlich der Patientensicherheit
„Das OIG hat Bedenken hinsichtlich der Fähigkeit der VHA, die Patientensicherheit zu fördern und zu schützen, ohne einen standardisierten Prozess zur Verwaltung von KI-bezogenen Risiken“, heißt es in der Überprüfung. „Darüber hinaus schließt das Fehlen eines Prozesses eine Rückkopplungsschleife und ein Mittel zur Erkennung von Mustern aus, die die Sicherheit und Qualität der in klinischen Umgebungen verwendeten KI-Chat-Tools verbessern könnten.“
Fortlaufende Überprüfung
Angesichts der kritischen Natur des Themas teilt das OIG diese vorläufigen Erkenntnisse breit, damit die VHA-Führungskräfte sich dieses Risikos für die Patientensicherheit bewusst sind. Die Überprüfung des OIG ist noch im Gange, sodass keine formellen Empfehlungen ausgesprochen wurden. Das OIG wird weiterhin mit den Führungskräften der VHA zusammenarbeiten und eine eingehende Analyse dieser Erkenntnisse sowie weiterer Erkenntnisse in den endgültigen Bericht aufnehmen.
Globale Perspektive
Die Analyse des OIG steht im Einklang mit den Ergebnissen eines aktuellen Berichts, der warnt, dass Regierungsbehörden im Jahr 2026 ohne die erforderliche betriebliche Governance für den sicheren Umgang mit KI arbeiten. Eine Umfrage unter Regierungen weltweit ergab, dass nur 10 % der Regierungen über eine zentrale KI-Governance verfügen. Ein Drittel hat keine dedizierten KI-Kontrollen, und 76 % fehlen automatisierte Mechanismen, um Hochrisiko-KI-Systeme abzuschalten oder zurückzuziehen, während 76 % keine Anomalieerkennung für KI-Systeme haben.
