Risiken der KI-gestützten Gesundheitsberatung in Australien

Meinung: Sorgen über KI-Ratschläge und mangelnde Regulierung bei ChatGPT Health in Australien

Es gibt viele Zugangswege zu ChatGPT Health mit einer einzigen Suche. Es handelt sich um einen Chat-Service, der eine Vielzahl von Dienstleistungen im Zusammenhang mit medizinischen Fragen für Verbraucher anbietet.

Der jüngste Start von ChatGPT Health wird als „einfach“ als allgemeine Informationsdienstleistung bezeichnet, aber die Rahmenbedingungen sind enorm. Es ist eine Schnittstelle für allgemeine Informationen, die als Ratschlag interpretiert werden kann.

Ein Artikel beschreibt klar und alarmierend, was schiefgehen kann und was bereits schiefgegangen ist, insbesondere einen Fall, in dem jemand Natriumbromid anstelle von Tafelsalz eingenommen hat.

Das Problem

Künstliche Intelligenz zieht Informationen aus verfügbaren Daten, um Anfragen zu verarbeiten. Die verfügbaren Daten für Natriumbromid sind jedoch minimal und erschreckend. Selbst die Hersteller scheinen nur begrenzte Informationen zu haben.

Die KI sieht Folgendes:

  • Allgemeine Suchdaten: Diese sind für eine allgemeine Übersicht in Ordnung, aber kaum auf diagnostischem Niveau. Sie enthalten auch Sicherheits- und Toxizitätsinformationen.
  • Produktinformationen, soweit vorhanden: Beachten Sie die vielen Einträge „Keine Daten verfügbar“ auf diesem Informationsblatt.

In diesem Fall nahm die Person Natriumbromid, begann zu halluzinieren und landete im Krankenhaus. Ironischerweise umfasst die Toxizitätsinformation in der Grundsuche Halluzinationen.

Die Hauptproblematik

Um einen Ausdruck zu prägen, dies ist ein Beispiel für „KI-Überdehnung“. Im Fall des Verbrauchers hat er seine eigene Wissensbasis weit überschritten. Solche Informationen können nicht in eine schnelle Lösung für Tafelsalz oder etwas anderes übersetzt werden.

Im Fall von ChatGPT Health ist es eine enorme Überdehnung. Es ist eine Sache, einfach faktische Informationen zu präsentieren. Diese Informationen in irgendeine Art von medizinischem Rat zu übertragen, ist ausgeschlossen.

Einer der Gründe, warum Online-Gesundheitsdienste an Beliebtheit gewonnen haben, ist, weil sie im Grunde den gleichen Service bieten, den man von einem Hausarzt erhalten würde. Es ist schnell, effizient, spart Zeit und Geld für beide Parteien, und niemand muss sein Leben im Verkehr riskieren, um eine Erkältung zu behandeln.

KI-Gesundheitsdienste wie dieser sind in diesen grundlegenden Funktionen weit überfordert. Sie unterliegen nicht dem gleichen Maß an zweiseitiger Überprüfung.

Regulierung

Die Regulierung könnte einfacher sein, als es scheint. Nach australischem Recht kann ein medizinisches Unternehmen keine medizinischen Dienstleistungen anbieten. Es ist auch keine juristische Person. Diese Unterscheidungen sind sehr wichtig.

Wie könnte eine KI ähnliche Dienstleistungen anbieten? KI ist ebenfalls keine juristische Person. Dies könnte sich auch auf jegliche Form von medizinischem Rat erstrecken.

Als therapeutisches Gut könnte KI von der Therapeutic Goods Administration reguliert werden. Sie könnte nur unter allgemeinen therapeutischen Vorschriften arbeiten, mit einer Vielzahl von eingebauten Sicherheitsvorkehrungen. Die angemessene Auslegung von „Therapie“ könnte leicht beratende Dienstleistungen umfassen.

Warum regulieren?

Andernfalls könnte jedes gefährliche pseudo-medizinische Produkt in den Lebensmittelkreislauf gelangen. Es bestehen ernsthafte Risiken für große Schäden. Schauen Sie sich an, wie viel Probleme es in Amerika mit seinen Medikamenten gibt, ob reguliert oder nicht. Das Risiko ist zu hoch.

Vergessen Sie „Käufer, sei vorsichtig“. Warum sollte der Käufer irgendetwas zu befürchten haben? Was ist falsch an einer Verpflichtung zur Vermarktung sicherer Produkte?

Ein Warnaufkleber mit der Aufschrift „Dieses Produkt könnte Ihre gesamte Familie auslöschen“ mag ironisch gemeint sein und zeigen, wie nett die Hersteller sind, aber warum brauchen Sie ihn? Sagt „kann Plutonium enthalten“ genug aus?

Im Fall von Natriumbromid ist es eine faire Annahme, dass niemand ernsthaft in Betracht zog, es als Ersatz für Tafelsalz zu verwenden. Man sollte nicht darüber informiert werden müssen, aber hier gibt es einen dokumentierten Fall genau dafür.

KI wird voraussichtlich ein entscheidender Bestandteil der Medizin sein. Sie muss sicher sein.

More Insights

Verantwortungsvolle KI: Ein unverzichtbares Gebot für Unternehmen

Unternehmen sind sich der Notwendigkeit von verantwortungsvollem KI-Betrieb bewusst, behandeln ihn jedoch oft als nachträglichen Gedanken oder separates Projekt. Verantwortliche KI ist eine vordere...

Neues KI-Governance-Modell gegen Schatten-KI

Künstliche Intelligenz (KI) verbreitet sich schnell in den Arbeitsplatz und verändert, wie alltägliche Aufgaben erledigt werden. Unternehmen müssen ihre Ansätze zur KI-Politik überdenken, um mit der...

EU plant Aufschub für AI-Gesetzgebung

Die EU plant, die Anforderungen für risikobehaftete KI-Systeme im KI-Gesetz bis Ende 2027 zu verschieben, um Unternehmen mehr Zeit zu geben, sich anzupassen. Kritiker befürchten, dass diese...

Weißes Haus lehnt GAIN AI-Gesetz ab: Nvidia im Fokus

Das Weiße Haus hat sich gegen den GAIN AI Act ausgesprochen, während es um die Exportbeschränkungen für Nvidia-AI-Chips nach China geht. Die Diskussion spiegelt die politischen Spannungen wider, die...

Ethische KI als Beschleuniger für Innovation

Unternehmen stehen heute unter Druck, mit künstlicher Intelligenz zu innovieren, oft jedoch ohne die notwendigen Sicherheitsvorkehrungen. Indem sie Datenschutz und Ethik in den Entwicklungsprozess...

KI im Recruiting: Verborgene Risiken für Arbeitgeber

Künstliche Intelligenz verändert die Art und Weise, wie Arbeitgeber Talente rekrutieren und bewerten. Während diese Tools Effizienz und Kosteneinsparungen versprechen, bringen sie auch erhebliche...

KI im australischen Kabinett: Chancen und Sicherheitsbedenken

Die australische Regierung könnte in Betracht ziehen, KI-Programme zur Erstellung sensibler Kabinettsanträge zu nutzen, trotz Bedenken hinsichtlich Sicherheitsrisiken und Datenverletzungen...