Verantwortungsvolle KI im öffentlichen Sektor: Beschaffung als Schlüssel
Im Jahr 2018 wurde der Öffentlichkeit bekannt, dass die Polizei von New Orleans eine vorhersagende Polizeisoftware von Palantir nutzte, um zu entscheiden, wo Beamte entsandt werden sollten. Diese Technologie stieß schnell auf Kritik von Bürgerrechtsgruppen aufgrund ihres potenziellen Rassismus. Doch das tiefere Problem war nicht nur die Funktionsweise der Technologie, sondern auch die Prozesse, die zu ihrer Einführung in der Stadt führten. Wer genehmigte ihre Nutzung? Warum blieb sie der Öffentlichkeit verborgen?
Wie in New Orleans verlassen sich alle US-Städte auf etablierte öffentliche Beschaffungsprozesse, um Verträge mit privaten Anbietern abzuschließen. Diese Vorschriften, oft in Gesetzen verankert, gelten für jeden staatlichen Einkauf, sei es für Schulbusse, Büromaterial oder Künstliche Intelligenz (KI)-Systeme. Der Fall von Palantir offenbarte jedoch ein bedeutendes Schlupfloch in den Beschaffungsregeln der Stadt: Da Palantir die Software kostenlos zur Verfügung stellte, umging das Geschäft die üblichen Überwachungsprozesse der Stadt. Es flossen keine Gelder, sodass die Vereinbarung keine standardmäßigen Prüfungen wie die Notwendigkeit einer Debatte und Genehmigung durch den Stadtrat auslöste.
Unsere Forschung, unterstützt von Wissenschaftlern der Carnegie Mellon University und der University of Pittsburgh, entschloss sich, die Kaufprozesse zu untersuchen, die entscheidend für die Entscheidungen über KI im öffentlichen Sektor sind. Durch Interviews mit neunzehn Stadtangestellten in sieben anonymen US-Städten stellten wir fest, dass die Beschaffungspraktiken stark variieren und das, was im Umgang mit KI im öffentlichen Sektor möglich ist, beeinflussen.
Die Rolle der Beschaffung bei der KI-Governance
Die Beschaffung spielt eine zentrale Rolle bei der Gestaltung von Entscheidungen über KI. In Ermangelung einer bundesstaatlichen Regulierung von KI-Anbietern bleibt die Beschaffung eines der wenigen Mittel, das Regierungen haben, um öffentliche Werte wie Sicherheit, Nichtdiskriminierung, Privatsphäre und Rechenschaftspflicht zu fördern. Reformen im Beschaffungswesen müssen jedoch die tatsächlichen Kaufentscheidungen vor Ort berücksichtigen, um erfolgreich zu sein.
Wenn man fragt, was Beschaffung beinhaltet, denken viele Menschen an einen wettbewerblichen Ausschreibungsprozess, der oft eine Überprüfung und eine anschließende Vergabeentscheidung umfasst. Sobald ein Anwendungsfall für KI identifiziert wurde, initiiert eine Regierung einen Ausschreibungsprozess, in dem sie ihre Bedürfnisse umreißt und Anbieter einlädt, Angebote einzureichen (eine „Aufforderung zur Angebotsabgabe“, oder RFP). Stadtangestellte folgen dann strukturierten Überprüfungsprozessen, um die vorgeschlagenen KI-Systeme zu bewerten und einen Gewinner auszuwählen.
Alternative Beschaffungswege
Heute zielen die meisten Bemühungen zur Verbesserung der KI-Beschaffung darauf ab, Schritte in diesem konventionellen Ausschreibungsprozess zu optimieren. Dennoch umgeht eine Vielzahl von KI-Systemen den formalen Ausschreibungsprozess ganz. Stattdessen nutzen Städte oft alternative Einkaufswege. So erlaubt das Beschaffungsrecht beispielsweise, dass Kleinbeträge den wettbewerblichen Ausschreibungen entgehen. Mitarbeiter können kostengünstige KI-Tools mit staatlichen Einkaufskarten erwerben.
Andere alternative Einkaufswege umfassen KI, die von Unternehmen gespendet, über Universitätspartnerschaften erworben oder der Öffentlichkeit kostenlos zur Verfügung gestellt wird, wie z. B. ChatGPT. Anbieter führen zunehmend neue KI-Funktionen in ihre bestehenden Verträge ein, ohne die Öffentlichkeit oder Stadtmitarbeiter zu informieren. Das Ergebnis ist, dass die meisten verfügbaren Ressourcen zur Unterstützung einer verantwortungsvollen KI-Beschaffung für die Mehrheit der heutigen KI-Anschaffungen nicht anwendbar sind.
Schlussfolgerung und offene Fragen
Die vergangenen Jahre haben ein spannendes Kapitel für lokale Regierungen eingeläutet, die begonnen haben, verantwortungsvolle KI-Überlegungen in ihre bestehenden öffentlichen Beschaffungspraktiken zu integrieren. Die Forschung zeigt auf, dass es kein universelles Modell gibt, wie lokale Regierungen ihre Beschaffungsprozesse strukturieren sollten, um eine verantwortungsvolle Beschaffung und Governance von KI zu fördern. Es ist jedoch von entscheidender Bedeutung, den Fokus auf die Bewertung und Verwaltung der Risiken durch die beschaffte KI-Technologie zu legen.
Die Forschungsarbeit wirft wichtige Fragen auf, mit denen sich lokale Regierungen auseinandersetzen müssen, um eine effektive Aufsicht über alle KI-Akquisitionen zu gewährleisten. Diese Fragen betreffen sowohl die Entwicklung von Überwachungs- und Prüfprozessen für KI-Vorschläge, die den konventionellen Ausschreibungsprozess umgehen, als auch die Identifizierung der verantwortlichen Personen innerhalb der Regierung, die in der Lage sind, Risiken zu erkennen und zu managen. Öffentliche Beschaffung ist der Ort, an dem einige der folgenreichsten Entscheidungen über KI im öffentlichen Sektor getroffen werden.
