¿Desea una IA Responsable en el Gobierno? Comience con la Adquisición
En 2018, el público descubrió que el Departamento de Policía de Nueva Orleans había estado utilizando un software de policía predictiva de Palantir para decidir dónde enviar a los oficiales. Grupos de derechos civiles rápidamente alarmaron sobre el potencial de sesgo racial de esta herramienta. Sin embargo, el problema más profundo no era solo cómo funcionaba la tecnología, sino los procesos que moldearon su adopción por la ciudad. ¿Quién aprobó su uso? ¿Por qué se ocultó al público?
Al igual que Nueva Orleans, todas las ciudades de EE. UU. dependen de los procesos de adquisición pública establecidos para contratar con vendedores privados. Estas regulaciones, a menudo escritas en la ley, generalmente se aplican a cada compra gubernamental, ya sea autobuses escolares, suministros de oficina o sistemas de inteligencia artificial. Pero este caso expuso una gran laguna en las reglas de adquisición de la ciudad: dado que Palantir donó el software de forma gratuita, el acuerdo evitó los procesos de supervisión usuales de la ciudad. No se intercambiaron fondos, por lo que el acuerdo no desencadenó controles estándar como el requisito de debate y aprobación del consejo de la ciudad. La ciudad no trató las donaciones filantrópicas como compras tradicionales, y como resultado, funcionarios clave de la ciudad y miembros del consejo no tenían idea de que la asociación existía.
Inspirados por esta historia y varias otras en EE. UU., nuestro equipo de investigación, compuesto por académicos de Carnegie Mellon y la Universidad de Pittsburgh, decidió investigar los procesos de compra que moldean decisiones críticas sobre la IA en el sector público. A través de entrevistas con diecinueve empleados de la ciudad basados en siete ciudades anónimas de EE. UU., encontramos que las prácticas de adquisición varían ampliamente entre localidades, moldeando lo posible en cuanto a la gobernanza de la IA en el sector público.
El papel de la adquisición en la gobernanza de la IA
La adquisición desempeña un papel poderoso en la formación de decisiones críticas sobre la IA. En ausencia de una regulación federal de los proveedores de IA, la adquisición sigue siendo uno de los pocos mecanismos que tienen los gobiernos para impulsar valores públicos, como la seguridad, la no discriminación, la privacidad y la responsabilidad. Sin embargo, los esfuerzos por reformar las prácticas de adquisición de los gobiernos para abordar los riesgos novel de las tecnologías emergentes de IA quedarán cortos si no se reconoce cómo se toman realmente las decisiones de compra en el terreno. El éxito de las intervenciones de reforma de la adquisición de IA dependerá de conciliar los objetivos de IA responsable con las normas de compra heredadas en el sector público.
Cuando se pregunta qué implica la adquisición, muchas personas piensan en un proceso de solicitud competitiva, que a menudo implica una revisión seguida de una decisión de adjudicación. Una vez que se ha identificado un caso de uso para la IA, un gobierno inicia un proceso de solicitud donde describe sus necesidades e invita a los proveedores a presentar propuestas (una «Solicitud de Propuesta», o RFP). Los empleados de la ciudad luego siguen procesos de revisión estructurados para calificar los sistemas de IA propuestos por los proveedores y seleccionar un ganador. La ciudad y el proveedor adjudicado negocian un contrato que especifica las obligaciones de cada parte, como un precio acordado por un período de tiempo determinado.
Desafíos de la adquisición de IA
Hoy en día, la mayoría de los esfuerzos para mejorar la adquisición de IA se centran en los pasos de este proceso de solicitud convencional. Grupos como el Foro Económico Mundial han publicado recursos para ayudar a los gobiernos a incluir consideraciones de IA responsable en las RFP y en las plantillas de contrato.
Sin embargo, como hemos visto, muchos sistemas de IA eluden el proceso de solicitud formal por completo. En su lugar, las ciudades a menudo utilizan vías de compra alternativas. Por ejemplo, la ley de adquisiciones típicamente permite que las compras de bajo costo omitan la licitación competitiva. Los empleados pueden comprar herramientas de IA de bajo costo utilizando tarjetas de compra emitidas por el gobierno.
Otras vías de compra alternativas incluyen IA donada por empresas, adquirida a través de asociaciones universitarias, o disponible de forma gratuita al público, como ChatGPT. Los proveedores están lanzando cada vez más nuevas funciones de IA en sus contratos existentes, sin notificar al público ni al personal de la ciudad. El resultado es que la mayoría de los recursos disponibles diseñados para apoyar la adquisición responsable de IA no son aplicables a la mayoría de las adquisiciones de IA hoy.
Mientras que las solicitudes competitivas ofrecen varios beneficios para promover la gobernanza responsable de la IA, muchos empleados de la ciudad las consideran ineficientes y engorrosas. En cambio, muchos empleados utilizan vías de compra alternativas al adquirir IA. Esto plantea una pregunta clave: ¿cómo pueden los gobiernos locales establecer normas de gobernanza de IA consistentes cuando la mayoría de las herramientas se adquieren fuera del proceso de solicitud formal? Responder a esta pregunta requiere un examen más detallado de quién está involucrado en cada tipo de adquisición.
Organización y personal de las adquisiciones en los gobiernos locales
Entre las ciudades entrevistadas, una de las divisiones más claras fue en qué empleados de la ciudad se incorporaron para supervisar cada adquisición de IA. Algunas ciudades entrevistadas establecieron procesos de supervisión totalmente centralizados donde cada adquisición de software, incluida la IA, debe pasar a través del personal de TI que puede evaluarla por calidad y riesgo. En contraste, otras ciudades eran en gran medida descentralizadas, dando a departamentos individuales como policía, bomberos y escuelas libertad para gestionar su propio portafolio de TI.
Estos arreglos de gobernanza tienen implicaciones reales para la capacidad de supervisión, y sugieren que un enfoque de reforma de «talla única» es poco probable que tenga éxito. Algunas ciudades han comenzado a adoptar revisiones centralizadas que requieren «expertos en IA» capacitados para evaluar los riesgos de la IA en cada adquisición, lo que permite una supervisión más consistente. En contraste, las ciudades con historias de gobernanza de TI descentralizada enfrentan dos caminos: capacitar a los departamentos individuales para evaluar los riesgos de la IA, o reconfigurar los flujos de trabajo de adquisición existentes para establecer revisiones centralizadas para garantizar que se cumplan los mínimos estándares éticos.
Preguntas abiertas para el futuro
Los defensores han reconocido durante mucho tiempo el potencial de la adquisición pública para desempeñar un papel de filtro en la determinación de qué tecnologías se adquieren y despliegan. El año pasado ha sido un momento especialmente emocionante para los gobiernos locales que han comenzado a integrar consideraciones de IA responsable en sus prácticas de adquisición pública existentes a través de organizaciones de base. La investigación de nuestro equipo agrega una capa que falta en la conversación existente sobre la adquisición de IA al poner de relieve cómo funciona realmente la adquisición de IA en la práctica.
Nuestra investigación plantea preguntas clave que los gobiernos locales deberán abordar para establecer una supervisión efectiva para todas las adquisiciones de IA:
- ¿Cómo pueden los gobiernos locales establecer procesos de supervisión y revisión para propuestas de IA que pueden eludir el proceso de solicitud convencional?
- ¿Quién dentro de un gobierno tiene la capacidad y el poder para ser responsable de identificar y gestionar los riesgos que plantea la tecnología de IA adquirida?
- ¿Cómo podrían reestructurarse los flujos de trabajo de adquisición existentes para garantizar que las personas adecuadas se involucren en la evaluación significativa de las soluciones de IA propuestas?
Anticipamos que no hay un modelo de «talla única» sobre cómo los gobiernos locales deben estructurar sus procesos de adquisición para promover la adquisición responsable y la gobernanza de la IA. Pero este momento ofrece una rara oportunidad para que expertos en políticas, investigadores y defensores se unan para remodelar la adquisición de IA. La adquisición pública es donde se toman algunas de las decisiones más consecuentes sobre la IA en el sector público. Si queremos entender por qué se adopta un sistema de IA —y a quiénes sirve— debemos comenzar por observar cómo se adquirió en primer lugar.
