Regulierungsstrategien für medizinische KI verbessern

Verbesserung der regulatorischen Aufsicht über medizinische KI

Betrachten Sie eine Technologie, die pädiatrische Gehirntumoren schneller identifizieren kann als ein Mensch. Diese Zukunft ist bereits angekommen. Zwei Drittel der Gesundheitsfachkräfte gaben in einer kürzlich durchgeführten Umfrage an, künstliche Intelligenz (KI) in ihre Arbeit integriert zu haben. Viele Kliniker äußerten jedoch auch den Bedarf an einer „erhöhten Aufsicht“ über medizinische KI.

In einem aktuellen Artikel wird argumentiert, dass die derzeitige Aufsicht über medizinische KI zu stark auf einen „Menschen im Prozess“ angewiesen ist. Dieser Ansatz erfordert, dass einzelne Kliniker jede KI-Empfehlung überprüfen und sicher und effektiv umsetzen. Es wird angeführt, dass die meisten Kliniker nicht über das nötige Fachwissen oder die Zeit verfügen, um medizinische KI zu bewerten, und es wird gefordert, dass politische Entscheidungsträger regulatorische Strukturen entwickeln, die eine sichere und effektive medizinische KI fördern, ohne auf individuelle Kliniker angewiesen zu sein.

Designfehler und Vorurteile

Die Notwendigkeit einer Aufsicht über medizinische KI wird durch „grundlegende“ Designfehler begründet. Eine Studie zeigte beispielsweise, dass ein Algorithmus, der zur Erkennung von Lungenentzündungen aus Röntgenbildern trainiert wurde, in dem Krankenhaus, in dem er entwickelt wurde, gut abschnitt, jedoch in anderen Krankenhäusern versagte. Der Algorithmus hatte gelernt, Merkmale zu erkennen, die die physische Umgebung des ursprünglichen Krankenhauses widerspiegelten, anstatt die Symptome der Patienten.

Vorurteile verschärfen diese Designfehler. Weniger als fünf Prozent der von der FDA zwischen 2012 und 2020 genehmigten KI-Systeme gaben die ethnischen Demografien in ihren Datensätzen an, was das Risiko erhöht, dass nicht repräsentative Trainingsdaten die Ergebnisse für Minderheiten verschlechtern, die weniger häufig an der Datenerhebung teilnehmen.

Regulatorische Rahmenbedingungen

Die derzeitigen regulatorischen Rahmenbedingungen adressieren diese Designfehler und Vorurteile durch zwei Ebenen der Governance: zentral und lokal. Auf zentraler Ebene entwickeln Bundesbehörden und medizinische Organisationen bundesweite Rahmenbedingungen und Regeln zur Überwachung und Prüfung medizinischer KI. Beispielsweise verlangt die FDA, dass viele KI-Systeme Sicherheits- und Wirksamkeitsstandards erfüllen, bevor sie auf den Markt kommen. Aber die aktuelle FDA-Richtlinie betont, dass die KI-Empfehlungen den Klinikern „patientenspezifische Informationen“ bereitstellen sollten, damit diese die Grundlage jeder Empfehlung überprüfen und ihr eigenes Urteil bei der endgültigen Entscheidung anwenden können. Dies überträgt eine erhebliche Verantwortung der Governance auf die einzelnen Kliniker.

Auf lokaler Ebene shiftet die Aufsicht zu den Krankenhäusern, die KI-Systeme in ihren eigenen klinischen Umgebungen testen. Allerdings erfordert die lokale Governance erhebliches Fachwissen, Infrastruktur und personelle Ressourcen, die viele kleinere oder unterfinanzierte Krankenhäuser nicht aufbringen können, ohne auf ihre Kliniker angewiesen zu sein.

Herausforderungen für Kliniker

Die Kliniker bleiben die letzte Verteidigungslinie gegen algorithmische Fehler. Oft spielen sie eine „korrigierende Rolle“ – sie überprüfen Fehler, passen sich „situationsspezifischen“ Faktoren an und identifizieren Vorurteile. Studien haben jedoch gezeigt, dass Kliniker häufig fehlerhafte oder voreingenommene Modelle nicht identifizieren, selbst wenn ihnen erklärende Werkzeuge zur Verfügung gestellt werden.

Die Schwierigkeiten der Kliniker bei der Überwachung medizinischer KI werden auf Wissenslücken zurückgeführt. Viele Kliniker sind mit allgemeinen KI-Prinzipien oder systematischen Vorurteilen nicht vertraut. Obwohl sich dieses Problem im Laufe der Zeit verbessern wird, wenn medizinische Schulen KI-Themen in ihren Lehrplan aufnehmen, argumentiert man, dass die Tendenz, KI-Empfehlungen zu vertrauen und widersprüchliche Informationen zu ignorieren – bekannt als Automatisierungsbias – die Fähigkeit der Kliniker weiterhin beeinträchtigen wird, die Genauigkeit einzelner KI-Empfehlungen in stressigen Situationen zu bewerten.

Zusätzlich schränkt die Arbeitsbelastung der Kliniker ihre Kapazität zur Aufsicht weiter ein. Die hektische Natur des modernen Gesundheitssystems, besonders in weniger finanzierten Einrichtungen, lässt wenig Raum für die Art von sorgfältiger Aufsicht, die die aktuellen Governance-Rahmenbedingungen anstreben.

Lösungsansätze

Eine kurzfristige Lösung besteht darin, dass, wenn Kliniker im Prozess bleiben, Regulierungsbehörden und Krankenhäuser klare und begrenzte Rollen für Kliniker definieren, sodass die Aufsicht über medizinische KI die anderen Verantwortlichkeiten der Kliniker nicht gefährdet oder sie nicht in die Falle führt. Darüber hinaus werden institutionelle Unterstützungsmaßnahmen wie Einarbeitung, Schulung und kontinuierliche Überwachung vorgeschlagen, um Kliniker bei der sicheren und effektiven Nutzung von KI-Technologien zu unterstützen.

Für die langfristige Perspektive wird eine Struktur angeregt, in der medizinische KI ohne ständige klinische Aufsicht funktioniert. Regulierungsbehörden und medizinische Organisationen sollten KI-Systeme als unabhängige Werkzeuge bewerten, die in Umgebungen mit begrenztem medizinischen Fachwissen operieren können. Solche Systeme verringern die Abhängigkeit von überlasteten Klinikern, können den Zugang zur Versorgung erweitern und die medizinische Expertise „demokratisieren“, da sie weniger finanzielle Mittel erfordern.

Um diesen Übergang zu erreichen, wird empfohlen, dass die FDA und medizinische Organisationen neue Bewertungsmethoden einführen, die die Leistung von KI mit minimaler klinischer Aufsicht testen. Die FDA sollte von den Entwicklern verlangen, die potenzielle Nutzung von KI-Systemen bei der Produktzulassung zu bewerten. Sobald medizinische KI-Produkte auf dem Markt sind, können Experten „Stichprobenkontrollen“ durchführen oder über einen längeren Zeitraum zufällige Stichproben prüfen, um sicherzustellen, dass die Programme wie vorgesehen funktionieren.

Die Herausforderungen, die vor uns liegen, sind erheblich, und es wird betont, dass medizinische KI nur dann die Gesundheitsergebnisse verbessern kann, wenn die Aufsichtsräume die klinischen Einschränkungen berücksichtigen, anstatt von einer perfekten Leistung der Kliniker auszugehen.