Kontextualisierung der Erkenntnisse zur Verwendung von KI in Kreditvergabe- und Einstellungsszenarien
Die Ergebnisse dieser Studie zu den Auswirkungen von KI auf Diskriminierung bei der Kreditvergabe und Einstellung müssen im breiteren politischen Kontext verstanden werden. Das EU-KI-Gesetz beispielsweise schreibt eine verantwortungsvolle Nutzung von KI durch menschliche Aufsicht vor und betont die Nichtdiskriminierung. Artikel 10 verpflichtet Anbieter von KI-Systemen zur Implementierung einer soliden Datenverwaltung, zur Überprüfung von Datensätzen auf Verzerrungen und zur Einführung von Abhilfemaßnahmen. Diese politische Relevanz prägt die Erforschung der menschlichen Aufsicht bei KI-Entscheidungen in unserer Studie und unterstreicht die Notwendigkeit einer kontinuierlichen Überwachung, einer Überprüfung nach der Bereitstellung und der Fähigkeit, KI-Entscheidungen zu überstimmen. Die Untersuchung der Auswirkungen von KI in der Studie, insbesondere in Bezug auf Verzerrungen und Diskriminierung, ist ein wichtiger Beitrag zu den Zielen des KI-Gesetzes zur Erkennung und Minderung von Verzerrungen.
Darüber hinaus zeigt die hier vorgestellte Forschung, dass KI-gestützte Entscheidungssysteme in Kombination mit menschlicher Aufsicht sowohl Verzerrungen aufrechterhalten als auch abschwächen können – eine Nuance mit erheblichem Kontext innerhalb der breiteren ethischen Überlegungen zum Einsatz von risikoreicher KI. Die aktuellen Richtlinien gehen oft von der Annahme aus, dass die menschliche Aufsicht KI-Mängel beheben wird, was diese Studie in Frage stellt, indem sie zeigt, dass menschliche Verzerrungen andauern oder sich sogar verstärken können, wenn sie mit KI-Empfehlungen interagieren, selbst wenn diese „fair“ sind. Aus dieser Perspektive sollten die aktuellen regulatorischen Interventionen und politischen Instrumente kritisch überdacht werden, um die potenziellen Verzerrungen zu berücksichtigen, die die menschliche Aufsicht mit sich bringen kann. Die politischen Reaktionen sollten auch proaktiv sein und Feedback-Mechanismen, verbesserte Tools zur Erkennung von Verzerrungen über KI-Tests hinaus sowie effektive kollaborative Mensch-KI-Rahmen berücksichtigen, um den menschlichen Input zu ergänzen, anstatt ihn einfach zu ersetzen oder zu imitieren.
Praktische Implikationen und zukünftige Überlegungen
Die realen Auswirkungen dieser Ergebnisse gehen über politische Mandate hinaus und umfassen Überlegungen zum ethischen KI-Design. Interventionen wie Überprüfungen der Organisationsnormen, transparente Begründungen für die Außerkraftsetzung und kontinuierliches Ergebnis-Monitoring sind entscheidend. Entscheidungsträger benötigen Zugang zu Einblicken in ihre Leistung und Verzerrungen sowie die Werkzeuge, um ihre Außerkraftsetzungen zu erklären, was ein proaktives Ökosystem gegenseitiger Kontrollen fördert. Diese ganzheitliche Strategie zielt darauf ab, die Zusammenarbeit zwischen KI und Mensch zu optimieren, so dass Entscheidungen stets sowohl die Ziele der Organisation als auch ethische Überlegungen erfüllen, einschließlich eines robusten Schutzes vor diskriminierenden Praktiken. Durch die Rahmung der Aufsicht in realistischen Szenarien und die Förderung einer systemischen Perspektive können zukünftige regulatorische Sandboxes für KI die Datenverwaltung untersuchen, bewährte Verfahren festlegen und das öffentliche Vertrauen in Systeme fördern, die für die Kreditvergabe und Einstellung verwendet werden.
Was sind die zentralen Forschungsfragen?
Diese Forschung zielt darauf ab, das komplexe Gleichgewicht zwischen Vertrauen und Kontrolle bei der menschlichen Aufsicht über KI-Entscheidungsfindung zu verstehen. Da KI-Systeme immer weiter verbreitet sind, insbesondere in risikoreichen Bereichen wie Kreditvergabe und Einstellung, ist es entscheidend, das angemessene Maß an Vertrauen in diese Systeme zu bestimmen. Zentrale Fragen drehen sich um die Identifizierung von Szenarien der „Übermässigen Abhängigkeit“, in denen Benutzer KI-Empfehlungen bedingungslos akzeptieren, selbst wenn diese fehlerhaft sind, und der „Unterlassenen Abhängigkeit“, in denen Benutzer gültige KI-Ratschläge zugunsten ihres eigenen Urteils ablehnen. Das übergeordnete Ziel ist es, festzustellen, wie sich solche Vertrauensverhaltensweisen auf die Fairness von KI-gestützter Entscheidungsfindung auswirken, und Erkenntnisse für die Entwicklung wirksamer Aufsichtsmechanismen zu gewinnen.
Eine zentrale Forschungsfrage ist, ob die Bereitstellung einer theoretisch unvoreingenommenen KI zu weniger voreingenommenen Entscheidungen der Benutzer führt. Dies untersucht, ob Benutzer fairen KIs vertrauen und diese angemessen nutzen. Umgekehrt untersucht die Studie, ob Benutzer ihre Fähigkeit und Bereitschaft aufrechterhalten, KI zu verstehen und zu hinterfragen, selbst wenn diese theoretisch unvoreingenommen ist. Dies untersucht das Potenzial für „Algorithmus-Aversion“, bei der Benutzer algorithmische Entscheidungen zugunsten ihrer eigenen, potenziell voreingenommenen Perspektiven ablehnen. Die Forschung zielt darauf ab, festzustellen, ob eine voreingenommene Aufhebung während der Ex-post-Aufsicht die Vorteile von Ex-ante-Bemühungen zur Gewährleistung der KI-Fairness zunichte machen könnte, und umgekehrt, ob die Ex-post-Aufsicht die Auswirkungen von Fehlern bei der Ex-ante-Aufsicht mildern kann.
Letztendlich zielt die Studie darauf ab, zu bestimmen, wie sich die Präferenzen der Benutzer auf ihre Entscheidungen auswirken, KI-Ratschlägen zu folgen oder diese abzulehnen, und ob KI-Empfehlungen die Auswirkungen diskriminierender Tendenzen verstärken können. Im Wesentlichen wird gefragt, ob KI-Unterstützung Diskriminierung verschärfen oder aufrechterhalten kann, selbst wenn die KI selbst so konzipiert ist, dass sie fair ist. Durch die Untersuchung dieser Fragen zielt die Forschung darauf ab, Erkenntnisse für die Gestaltung von menschlichen Aufsichtssystemen zu liefern, die diskriminierende Ergebnisse minimieren und die Vorteile der Mensch-KI-Komplementarität in sensiblen Entscheidungskontexten maximieren.
Welche Methodik wird in dieser Forschung angewendet?
Diese Forschung verfolgt einen Mixed-Methods-Ansatz mit einem sequentiellen Erklärungsdesign. Dieses Design beinhaltet eine anfängliche Phase der quantitativen Datenerhebung und -analyse, gefolgt von einer anschließenden Phase der qualitativen Datenerhebung und -analyse, wobei die qualitative Phase dazu dient, die quantitativen Ergebnisse zu erklären und zu vertiefen. Die quantitative Komponente besteht aus einem online durchgeführten Verhaltensexperiment, das Arbeitgeber-Arbeitnehmer- und Kreditgeber-Kreditnehmer-Beziehungen mit Fachleuten aus den Bereichen Personalwesen und Bankwesen in Italien und Deutschland simuliert (N=1411). Die Teilnehmer trafen Entscheidungen über hypothetische Bewerber, wobei Anreize an die Leistung ihrer ausgewählten Kandidaten geknüpft waren, um reale, professionelle Bewertungen nachzubilden.
Im Anschluss an das quantitative Experiment wurde eine qualitative Phase durchgeführt, die aus halbstrukturierten Interviews und Online-Workshops in kleinen Gruppen mit einem Teil der Studienteilnehmer sowie einem Co-Design-Workshop mit Experten und politischen Entscheidungsträgern bestand. Die Interviews zielten darauf ab, die Erfahrungen der Teilnehmer mit KI in ihrem beruflichen Kontext, ihre Entscheidungsprozesse und ihre Wahrnehmung von Fairness und Voreingenommenheit zu untersuchen. Die Workshops dienten dazu, die ökologische Validität der Studie weiter zu untersuchen, Feedback darüber zu sammeln, inwieweit die ausgewählten Kandidatenmerkmale und das experimentelle Setup mit realen Situationen zusammenhängen, und neue Ideen zu entwickeln, wie man menschliche und algorithmische Verzerrungen mildern kann. Diese Triangulation von quantitativen und qualitativen Daten ermöglicht ein umfassendes und differenziertes Verständnis der Auswirkungen menschlicher Aufsicht bei KI-gestützten Entscheidungen.
Um die Analyse zu bereichern und verwertbare Erkenntnisse zu gewinnen, wurden partizipative Designmethoden integriert. Ein Co-Design-Workshop brachte Experten aus verschiedenen Disziplinen zusammen, um Ideen zur Milderung menschlicher und algorithmischer Verzerrungen bei KI-gestützten Entscheidungen zu entwickeln. Die Experten diskutierten Themen wie die Definition von algorithmischer und menschlicher Fairness, die Übersetzung von Fairness in praktische Regeln, regulatorische Anforderungen an die Aufsicht und die Förderung des Bewusstseins bei Nutzern und Entwicklern. Dieses vielfältige Engagement ermöglichte die Formulierung fundierter politischer Empfehlungen und zukunftsorientierter Forschungsprioritäten, die aus dieser groß angelegten Studie über die richtige Art und Weise der Implementierung von Aufsichtssystemen durch den Menschen zur Vermeidung diskriminierender Ergebnisse resultieren. Abschließend wurden politische Entscheidungsträger eingeladen, über die Ergebnisse zu reflektieren und politische Umsetzungen zu diskutieren.
Was sind die wichtigsten Ergebnisse des quantitativen Experiments?
Das quantitative Experiment, eine groß angelegte Verhaltensstudie mit HR- und Bankfachleuten in Italien und Deutschland (N=1411), erbrachte mehrere bemerkenswerte Erkenntnisse über die Auswirkungen der menschlichen Aufsicht auf Diskriminierung in KI-basierten Entscheidungsunterstützungssystemen. Ein zentrales Ergebnis war, dass menschliche Aufseher mit der gleichen Wahrscheinlichkeit diskriminierende Empfehlungen einer generischen KI befürworteten wie die Vorschläge einer speziell auf Fairness ausgerichteten KI. Dies veranschaulicht deutlich, dass die menschliche Aufsicht in ihrer derzeitigen Umsetzung Diskriminierung nicht von Natur aus verhindert, wenn eine potenziell voreingenommene generische KI als Teil des Entscheidungsprozesses eingesetzt wird. Darüber hinaus ergab die Studie, dass die von den Teilnehmern getroffenen Entscheidungen bei Einsatz einer „fairen“ KI weniger geschlechtsspezifische Verzerrungen aufwiesen. Dies beseitigte die Diskriminierung jedoch nicht vollständig, da die Entscheidungen weiterhin von den individuellen Vorurteilen der Teilnehmer selbst beeinflusst wurden, was die Persistenz menschlicher Vorurteile trotz der Anwesenheit scheinbar unvoreingenommener algorithmischer Unterstützung zeigt.
Insbesondere die generische KI, die auf Genauigkeit optimiert war und Tendenzen zur Bevorzugung von Männern und deutschen Bewerbern aufwies, übte einen Einfluss aus, der zu diskriminierenden Entscheidungen gegen Frauen und italienische Bewerber führte. Umgekehrt schien die „faire“ KI, die darauf ausgelegt war, Verzerrungen zu minimieren, die Diskriminierung von Männern zu mildern, negierte aber bestehende Vorurteile nicht vollständig. Dies deutet darauf hin, dass faire KI Entscheidungen zwar in Richtung weniger diskriminierender Ergebnisse lenken kann, aber tief verwurzelte menschliche Vorurteile nicht vollständig beseitigen kann. Bemerkenswert ist, dass das Experiment auch einige Bedenken zerstreute, indem es zeigte, dass die bloße Anwesenheit von KI, selbst wenn sie auf Fairness programmiert ist, die Auswirkungen diskriminierender Tendenzen nicht unbedingt verstärkte. Die Studie ergab, dass individuelle Präferenzen keinen größeren Einfluss auf Entscheidungen hatten, wenn KI-Unterstützung vorhanden war.
Zusätzliche Ergebnisse
Über die wesentlichen Aspekte der Verzerrung hinaus bewertete das Experiment auch die Leistung von Entscheidungsträgern mit und ohne KI-Unterstützung. Interessanterweise verbesserte der Zugang zu KI-Empfehlungen, ob von einer fairen oder einer generischen KI, die Qualität menschlicher Entscheidungen im Hinblick auf die beabsichtigten Ziele nicht nachweislich. Das Experiment zeigte jedoch, dass das Befolgen der KI-Empfehlungen den Entscheidungsträger im Vergleich zu Entscheidungen, die ausschließlich auf ungestützter menschlicher Intuition beruhen, mehr Punkte eingebracht hätte.
german
Was sind die Hauptthemen, die aus den post-experimentellen qualitativen Studien hervorgehen?
Die post-experimentellen qualitativen Studien, die Einzelinterviews und kollaborative Workshops mit Studienteilnehmern und KI-Ethikexperten umfassten, befassten sich mit mehreren Schlüsselthemen rund um die menschliche Aufsicht bei KI-gestützter Entscheidungsfindung. Ein hervorstechendes Thema war der oft nicht anerkannte Einfluss von Organisationsnormen und wahrgenommenen Organisationsinteressen auf die Entscheidungsfindung. Die Teilnehmer brachten häufig zum Ausdruck, Unternehmensstrategien und -ziele zu priorisieren, selbst wenn diese Prioritäten mit individuellen Fairness-Überlegungen oder den Empfehlungen einer „fairen“ KI in Konflikt gerieten. Dies deutet auf einen Bedarf an Interventionen hin, die auf die Organisationskultur abzielen und klarere Anleitungen geben, wann und wie KI-Empfehlungen zugunsten ethischer Prinzipien außer Kraft gesetzt werden können. Die qualitativen Daten beleuchteten auch eine Spannung zwischen den Bestrebungen der Teilnehmer nach KI-getriebener Effizienz und ihren praktischen Bedenken, Algorithmen die Bewertung „weicher“ Qualitäten zu überlassen, insbesondere in Bezug auf differenzierte Attribute, die während der Interviews identifiziert wurden.
Im Zusammenhang mit dem organisatorischen Einfluss stand das wiederkehrende Thema der *kontextuellen Faktoren*, die die Teilnehmer als wesentliche Rolle bei ihrer Interaktion mit der KI und ihrem Vertrauen in KI-Empfehlungen identifizierten. Dies unterstrich die Grenzen der vereinfachten, dekontextualisierten Sichtweise des experimentellen Szenarios auf die Kandidaten. Die Teilnehmer betonten ihr Bedürfnis nach einem ganzheitlichen Verständnis der Umstände und Motivationen eines Kandidaten, Qualitäten, von denen sie glaubten, dass die KI sie nicht adäquat erfassen könne. Der Wunsch nach *Erklärbarkeit und Begründung* erwies sich ebenfalls als ein bestimmendes Merkmal einer effektiven menschlichen Aufsicht. Die Teilnehmer mussten die Gründe für die Empfehlungen der KI verstehen, nicht nur, um ihr eigenes Urteilsvermögen und ihre Expertise zu untermauern, sondern auch, um Transparenz und Rechenschaftspflicht gegenüber den Kandidaten zu gewährleisten. Einige Teilnehmer äußerten sogar eine Zurückhaltung bei der Einführung bestimmter KI-Systeme, weil die Art und Weise, wie Entscheidungen getroffen wurden, nicht transparent war. Die kombinierten Studienergebnisse unterstreichen die Bedeutung eines menschenzentrierten Ansatzes bei der KI-Implementierung, bei dem die Technologie als Werkzeug dient, um die menschliche Interpretation und Bewertung zu erleichtern, anstatt die Entscheidungsfindung einfach zu automatisieren.
Schließlich war ein wiederkehrendes Thema die entscheidende Rolle von Ergebnisrückmeldungen und kontinuierlicher Überwachung bei der Verfeinerung sowohl von KI-Systemen als auch von menschlichen Entscheidungsprozessen. Die Studienteilnehmer äußerten den Bedarf an Feedback-Mechanismen, die es ihnen ermöglichen würden, die Genauigkeit und Fairness von KI-gestützten Entscheidungen im Laufe der Zeit zu beurteilen. Ein wiederkehrender Wunsch sowohl der Fachleute vor Ort als auch der Fairness-KI-Experten, die konsultiert wurden, war der Zugang zu einem „Test- und Auditsystem“, das allen Parteien zugänglich ist und in dem neue Erkenntnisse über die Systeme und den Entscheidungsprozess gewonnen werden können. Solche Systeme, die „einen klaren“ Bericht darüber liefern, was gesehen wurde und wie, werden es jedem ermöglichen, sich auf fairere Weise zu engagieren, indem sie dieses „gemeinschaftliche Engagement“ aufbauen, was weiterhin dazu beitragen würde, Prozesse zur Verbesserung des langfristigen Ergebnisses des verwendeten Systems zu schaffen. Dieser Fokus auf kontinuierliches Lernen unterstreicht die Notwendigkeit von KI-Aufsichtssystemen, die sich an veränderte soziale Kontexte anpassen und die kollaborative Verfeinerung durch die Einbeziehung menschlicher Urteile erleichtern können. Experten schlugen Interventionen auf der Ausbildungs- und Betriebsebene der KI-Entwicklung vor, um differenziertere und kontextbezogene Daten gegenüber allgemeineren und potenziell voreingenommenen oder diskriminierenden Datensätzen zu berücksichtigen.
Wie beeinflussen die individuellen Interviewergebnisse die Forschungsfragen?
Die individuellen Interviews lieferten wertvolle Einblicke in die Prioritäten und Vorurteile, die Fachkräfte bei ihren Entscheidungen berücksichtigen, sowohl in Bezug auf Fairness als auch auf pragmatische Erwägungen. Eine wichtige Erkenntnis war die Feststellung, dass die Teilnehmer ihre Entscheidungen oft auf der Grundlage ihrer persönlichen Erfahrungen und der strategischen Ziele ihrer Unternehmen kontextualisierten. Einige räumten ein, diskriminierende Empfehlungen von KI-Systemen zu akzeptieren, wenn diese mit den Zielen der Organisation übereinstimmten, wodurch eine Spannung zwischen ethischen Prinzipien und praktischen Anforderungen deutlich wurde. Darüber hinaus äußerten die Teilnehmer eine Präferenz für KI-Entscheidungsunterstützung, wenn Aufgaben weniger komplex waren, wie z. B. die Datenverarbeitung, und zeigten Zögern, wenn es um die Beurteilung nuancierter menschlicher Eigenschaften ging. Die Notwendigkeit von Erklärbarkeit und Transparenz wurde betont, da die Teilnehmer Einblicke in die Argumentation der KI forderten, um sich hinsichtlich der Fairness beruhigt zu fühlen.
Die Interviews beleuchteten die Faktoren, die die Bereitschaft von Fachkräften zur Nutzung von KI-Unterstützung beeinflussen, und beantworteten damit eine zentrale Forschungsfrage. Die Offenheit der Teilnehmer für KI-gestützte Entscheidungen hing von mehreren Faktoren ab, darunter die wahrgenommene Komplexität der Aufgabe, die potenziellen Risiken der Nutzung von KI und ihre Fähigkeit, die Empfehlungen der KI zu begründen und zu erklären. Die Interviews enthüllten auch differenzierte Ansichten über die Hilfsbereitschaft von KI, wobei einige Teilnehmer sie als unverzichtbare Werkzeuge für Arbeit und Effizienz betrachteten. Umgekehrt wurde erklärt, dass viele KI-Tools für einige Verantwortlichkeiten noch zu unreif sind, und diese Ansicht wurde hervorgehoben, als die Fähigkeit von KI-Tools zur Beurteilung menschlicher Eigenschaften und zur Verknüpfung der Bedeutung verschiedener Eigenschaften bei fundierten Entscheidungen erläutert wurde.
Letztendlich deuteten die Ergebnisse der Einzelinterviews stark darauf hin, dass die Notwendigkeit besteht, Verzerrungen zu beurteilen und zu beheben, die nicht nur innerhalb des KI-Systems enthalten sind. Der Fokus sollte auch auf externen Prozessen und Verzerrungen liegen, die in anderen Mitgliedern des Entscheidungsprozesses vorhanden sind, einschließlich gesellschaftlicher, menschlicher oder institutioneller. Dies beeinflusste, welche Arten von Daten in Fokusgruppen gesammelt werden sollten und welche Themen einer detaillierteren Bewertung durch externe Teams bedurften, die an der ethischen und gerechten KI-Entwicklung arbeiten, wie beispielsweise der interdisziplinäre Workshop zur KI-Gerechtigkeit. Die aus den Einzelinterviews gewonnenen Erkenntnisse ermöglichten es den Forschern, ihre Aufmerksamkeit von der Blackbox der KI abzuwenden und zu verstehen, dass mehr menschliches Verständnis und Reflexion die ethische und gerechte Entscheidungsunterstützung beeinflussen würden.
german
Welche Erkenntnisse wurden aus den Workshops mit Fachleuten gewonnen?
Qualitative Forschung in Form von Workshops mit Fachleuten, die am Mensch-KI-Interaktions-Experiment teilnahmen, lieferte wichtige Erkenntnisse über die Komplexität von algorithmischer Fairness und menschlicher Aufsicht. Die Teilnehmer betonten die entscheidende Bedeutung der Kontextualisierung des Einsatzes von KI innerhalb ihrer spezifischen beruflichen Szenarien. Darüber hinaus betonten sie die Notwendigkeit von erklärbarer KI, da sie Transparenz hinsichtlich der Grundlagen der Algorithmen und der Art und Weise, wie Entscheidungen getroffen wurden, wünschten. Diese Erklärbarkeit würde, so argumentierten sie, ein größeres Vertrauen in das KI-System fördern und eine fundiertere Entscheidungsfindung ermöglichen. Die Teilnehmer stellten jedoch eine Spannung zwischen algorithmischen Empfehlungen und ihrem eigenen professionellen Urteilsvermögen fest, wobei sie oft ihre Fähigkeit schätzten, differenzierte, situationsspezifische Attribute zu beurteilen, die KI möglicherweise nur schwer erfassen kann.
Eine weitere wichtige Erkenntnis aus den Workshops war der Begriff der Fairness, der über die bloße Nichtdiskriminierung hinausgeht. Die Experten betonten, dass die Erreichung von Fairness in der KI zwar einen multidisziplinären Ansatz erfordert, der sowohl soziale als auch technische Aspekte einbezieht, Fairness jedoch sowohl ein systemischer als auch ein dynamischer Prozess ist und stärker kontextbezogen ist. Der Aufbau kollaborativer Fairness erfordert laut den Teilnehmern ein Bewusstsein dafür, wann das System versagt und wann Menschen für das System versagen. Darüber hinaus betonten die Teilnehmer, wie wichtig es ist, ihre eigenen impliziten Vorurteile sowie das Potenzial für organisationale Vorurteile, die Entscheidungsprozesse beeinflussen können, zu erkennen und anzugehen. Die Teilnehmer äußerten den Bedarf an klaren Richtlinien, wann KI-Empfehlungen außer Kraft gesetzt werden sollten, sowie an Mechanismen zur Überprüfung und Überwachung von Entscheidungen zum Außerkraftsetzen, was dazu beiträgt, unbeabsichtigte Verzerrungen zu minimieren und gerechtere Ergebnisse zu fördern, da sie angeleitet werden, ihre Entscheidungen an den Werten und langfristigen Zielen der Organisation auszurichten. Die Workshops bestätigten den Wert, der individuellen Entscheidungen beigemessen wird, wenn der Kontext detaillierter ist, und erkannten gleichzeitig an, dass ein solches Verlassen stattfinden kann, wenn die Ergebnisse validiert werden oder wenn Organisationen Einschränkungen haben.
german
Welche Perspektiven und Schlussfolgerungen wurden im Expertenworkshop erarbeitet?
Der Expertenworkshop brachte eine multidisziplinäre Gruppe zusammen, um sich mit Verzerrungen in KI-gestützter menschlicher Entscheidungsfindung auseinanderzusetzen, wobei der Schwerpunkt auf Szenarien wie Einstellung und Kreditvergabe lag. Entscheidend war, dass der Workshop die Definition von Fairness als einen dynamischen Prozess identifizierte, der kontinuierliche Praxis und Übung erfordert, und nicht als ein statisches Konzept. Diese Perspektive unterstrich die Notwendigkeit, Fairness während des gesamten Lebenszyklus der KI-Systementwicklung zu verankern, von der anfänglichen Datenerhebung bis zur laufenden Implementierung. Die Experten betonten, dass Fairness in Bezug auf reale Ergebnisse dynamisch und iterativ betrachtet werden muss, auch nachdem eine Person in der menschlichen Aufsicht „in the loop“ war. Die Diskussionen stellten die Wirksamkeit des alleinigen Ausschlusses geschützter Merkmale aus Datensätzen zur Gewährleistung von Fairness in Frage, wobei Experten anmerkten, dass dies an sich keine Garantie dafür ist. Der Grund dafür ist, dass die Isolierung der Merkmale für die Analyse auch zu Fehlinterpretationen oder dem vollständigen Verlust des Kontexts führen könnte.
Der Workshop untersuchte ferner die Operationalisierung von Fairness in der Mensch-KI-Kollaboration und hob die gegenseitige Transparenz als zentralen Grundsatz hervor. Experten schlugen Mechanismen für standardisierte Kontroll- und Feedbackschleifen vor, um die ethische und regulatorische Aufsicht zu fördern. Experten entwarfen eine Zukunft, in der KI als Teil dynamischer Lernschleifen integriert werden oder sogar positiv zu einem hybriden Mensch-KI-Modell am Arbeitsplatz oder im Kreditvergabebereich beitragen könnte. Der Prozess könnte ein Team umfassen, das Testläufe durchführt und iteriert. Beispielsweise könnte KI Teil eines Teams sein, das sowohl die technischen als auch die gesellschaftlichen Aspekte des Projekts untersucht und etwaige Probleme identifizieren kann. Experten drängten auch auf sinnvolle Analysen und Transparenz gegenüber den Kandidaten, die sich einer menschlichen Aufsicht unterziehen, sowie auf Transparenz hinsichtlich des Prozesses hinter den Entscheidungen der menschlichen Aufsicht. Insbesondere wurde immer wieder das Thema der Förderung der „KI-Ethik-Kompetenz“ sowohl bei Designern als auch bei Nutzern angesprochen, um eine verantwortungsvolle Entwicklung von KI-Systemen zu gewährleisten.
Die Experten betonten die Bedeutung der Einbeziehung der Gemeinschaft und der gemeinsamen Verantwortung bei der KI-Governance und plädierten für kollektive Formen der menschlichen Aufsicht. Die Diskussionen betonten die Priorisierung der Bedürfnisse der Gemeinschaft gegenüber rein technischen Kapazitäten und den Aufbau neuer Vorstellungen, um die Bedürfnisse von Technologie und Gemeinschaft besser zu unterstützen und enger miteinander zu verbinden. Aus politischer Sicht forderten die Experten die EU auf, Werte und Ethik in der KI-Entwicklung zu priorisieren und in den Aufbau von Vertrauen in die Technologie zu investieren, um letztendlich sicherzustellen, dass die KI mit den übergeordneten strategischen Zielen übereinstimmt. Die Workshopteilnehmer wiesen auch darauf hin, dass das Feedback von Entscheidungen auf Endnutzerebene und von KI-gesteuerten Entscheidungen und Vorschlägen in einem größeren Ökosystem Forschern und Entwicklern zu einem systemweiten Verständnis komplexer Themen verhelfen kann.
Was sind die zentralen Diskussionspunkte und politischen Empfehlungen, die sich aus der Integration der Forschungsergebnisse ableiten?
Die Integration von Erkenntnissen aus quantitativen Experimenten und qualitativen Interviews, kombiniert mit Experten- und Politik-Workshops, beleuchtet mehrere entscheidende Diskussionspunkte und liefert spezifische politische Empfehlungen bezüglich der menschlichen Aufsicht über KI-gestützte Entscheidungsfindung. Ein zentrales, übergeordnetes Thema ist die Notwendigkeit, von einer simplen Sichtweise auf menschliche Aufsicht als automatischen Korrekturmechanismus für KI-Verzerrungen abzurücken. Die Forschung unterstreicht, dass menschliche Vorurteile und Organisationsnormen diskriminierende Ergebnisse innerhalb von KI-gestützten Systemen erheblich beeinflussen und sogar verschärfen können. Die Diskussionspunkte konzentrieren sich auf die Komplexität, algorithmische Effizienz mit ethischen Überlegungen in Einklang zu bringen, insbesondere im Hinblick auf Fairness und Transparenz in oft undurchsichtigen Entscheidungsprozessen. Die Studie beleuchtet auch die Bedeutung des Kontexts und die Grenzen eines „one-size-fits-all“-Ansatzes für die KI-Aufsicht und betont die Notwendigkeit, vielfältige Perspektiven einzubeziehen und potenzielle systemische Probleme neben technischen Aspekten anzugehen.
Basierend auf diesen Diskussionspunkten ergeben sich mehrere politische Empfehlungen zur Verbesserung der Effektivität der menschlichen Aufsicht. Es besteht nicht nur die Notwendigkeit, KI-Verzerrungen zu mildern, sondern auch robuste Mechanismen zur Überwachung und Überprüfung menschlicher Entscheidungen zu implementieren, die KI-Empfehlungen außer Kraft setzen. Dies würde Investitionen in Instrumente zur Erkennung von Verzerrungen und Schulungsprogramme erfordern, um das Bewusstsein und das Wissen über menschliche Entscheidungsverzerrungen zu erhöhen. Transparenz muss ein Schlüsselelement sein, das es den Stakeholdern ermöglicht, Einblicke in die Art und Weise zu gewinnen, wie endgültige Entscheidungen getroffen werden. Darüber hinaus sollten KI-Governance-Rahmen kontinuierliche Feedbackschleifen berücksichtigen, die es Entscheidungsträgern ermöglichen, KI-Algorithmen basierend auf der Leistung in der realen Welt anzupassen und gleichzeitig ethische Richtlinien einzuhalten. Diese Empfehlungen zielen gemeinsam darauf ab, ein ganzheitlicheres, kontextbezogeneres und adaptiveres KI-Aufsichtssystem zu schaffen, das Fairness fördert.
Umsetzbare Erkenntnisse für die Regulierung
Um die Politik wirksamer zu gestalten, ist es wichtig zu untersuchen, wie menschliche Voreingenommenheit und die Organisationskultur die Fairness von KI-Systemen beeinflussen könnten. Die politischen Entscheidungsträger sollten Vorschriften und Richtlinien in Erwägung ziehen, die Organisationen dazu auffordern, ihre Kultur und Normen zu überprüfen und Maßnahmen zu ergreifen, die sicherstellen, dass KI-Systeme und ihre menschlichen Aufseher bestehende Ungleichheiten nicht verstärken. Des Weiteren sollte die Politik KI-Entwickler dazu anhalten, Werkzeuge bereitzustellen, die Transparenz ermöglichen und nachvollziehbare Erklärungen für die KI-Entscheidungsfindung für die Betroffenen liefern sowie Kontextinformationen darüber geben, welche Daten und Entscheidungsfindungen des KI-Systems vorliegen. Es sollte möglich sein, Richtlinien zu erstellen, die Innovation fördern und gleichzeitig Schutzmaßnahmen vorsehen, um sicherzustellen, dass KI-Systeme Fairness unterstützen und die Rechte des Einzelnen schützen.
