Gesundheits-Chatbots lösen Besorgnis bei Analysten für KI-Governance aus
Wenn ein KI-Chatbot den Menschen rät, Kleber auf Pizza zu geben, ist der Fehler offensichtlich. Wenn er jedoch empfiehlt, mehr Bananen zu essen – ein gesunder Ernährungstipp, der für jemanden mit Nierenversagen gefährlich sein könnte – versteckt sich der Fehler im Alltäglichen.
Das Risiko, das nun Hunderte Millionen Nutzer ohne oder mit minimaler regulatorischer Aufsicht erreichen könnte, ist erheblich.
Kürzlich wurde ein Gesundheits-Chatbot eingeführt, der es Nutzern ermöglicht, medizinische Daten und Wellness-Apps für personalisierte Gesundheitsanleitungen zu verbinden. Es wird berichtet, dass wöchentlich über 230 Millionen Menschen Gesundheitsfragen stellen, wobei täglich 40 Millionen Nutzer medizinischen Rat suchen.
Skepsis unter Experten
Einige KI-Experten äußern Bedenken. Sie weisen darauf hin, dass die Modelle, die für diese Chatbots verwendet werden, probabilistische Textgenerierungsmodelle sind, die nicht wissen, wann sie nicht genügend Informationen haben. Sie sind nicht intrinsisch kalibriert, um Unsicherheiten auszudrücken, und haben kein internes Verständnis dafür, was „richtig“ oder „falsch“ ist. Sie sind einfach sehr gut darin, plausibel und autoritär klingenden Text zu produzieren, selbst wenn dieser nicht korrekt ist.
Die Nutzung von Chatbots im Gesundheitswesen verstärkt das Risiko durch eine als Verifizierungsasymmetrie beschriebene Problematik. Während in der Programmierung ein fehlerhaftes Ergebnis oft schnell scheitert, ist medizinische Anleitung hochgradig kontextabhängig und hängt von patientenspezifischen Faktoren ab, die das System normalerweise nicht hat. Gesundheitsberatung ist oft voller „Es kommt darauf an“, was es einfacher macht, dass eine KI sinnvoll klingt, während sie kontextuell falsch ist und es für Nutzer schwieriger wird, die Antwort unabhängig zu überprüfen.
Bewertung der KI-Sicherheit
Standardbewertungen der KI-Sicherheit könnten die riskantesten Ausgaben nicht erkennen. Die meisten Bewertungen konzentrieren sich auf oberflächliche Signale wie explizite Politikverletzungen, faktische Fehler oder Krisenschlagwörter und belohnen gleichzeitig Fluidität und Empathie. Das bedeutet, dass subtil irreführende Ratschläge die Sicherheitsprüfungen bestehen können.
Analysten im Gesundheitswesen betonen, dass Organisationen hohe Genauigkeitsanforderungen benötigen. Medizinische Ratschläge dürfen keine „kohärente Nonsens“-Informationen enthalten, die in weniger kritischen Bereichen akzeptabel sind. Das Erkennen von kontextuell irreführenden Ratschlägen erfordert menschliche Aufsicht, um subtile Probleme zu identifizieren, verborgene Probleme ans Licht zu bringen und das Vertrauen nach Fehlern der KI wiederherzustellen.
Technische und nicht-technische Lösungsansätze
Eine der effektivsten technischen Sicherheitsvorkehrungen besteht darin, dass Systeme nicht nur Antworten geben, sondern auch die spezifische medizinische Quelle, die die Antwort unterstützt, hervorheben müssen. Auf der nicht-technischen Seite wird empfohlen, Produktfriktionen einzuführen, indem Antworten verschwommen angezeigt werden, bis Nutzer die Haftungsausschlüsse anerkennen, oder indem unsichere Phrasen hervorgehoben werden. Unternehmen sind jedoch oft unwillig, Friktionen einzuführen, da sie möchten, dass ihre KI „magisch, sofort und menschlich“ wirkt.
Unklare Haftungsrahmen
Der Haftungsrahmen ist derzeit ungelöst. Es gibt kein einheitliches Bundesgesetz oder einen Branchenstandard, der Verbraucher-Health-Chatbots regelt. Während die Regierung die KI-Adoption durch Initiativen fördert, konzentrieren sich diese Bemühungen darauf, Innovationen zu beschleunigen, anstatt Sicherheitsleitlinien zu etablieren. Verbraucher-Health-Chatbots arbeiten in einer fragmentierten Governance-Umgebung mit minimalen proaktiven Einschränkungen.
