A Wake-Up Call for Governance of Multi-Agent AI Interactions
Este mes, la empresa italiana de transporte marítimo conocida como Grimaldi Group lanzó su nuevo portacontenedores de 9,000 unidades, el Grande Tianjin, en su viaje inaugural, transportando vehículos eléctricos desde China a Europa. En el camino, cruzará jurisdicciones, navegará entre naciones competidoras y ajustará su rumbo según las rutas de otros buques. La fluidez de tal viaje depende de una red altamente funcional de marcos legales, infraestructura y supervisión.
Ahora, reemplacemos un buque marítimo por un agente de IA. Se trata de un sistema capaz de tomar decisiones en un entorno mucho más complejo que el mar. Puede interactuar con otros sistemas de IA para lograr sus objetivos y plantear riesgos sin precedentes al hacerlo. Mientras este intrincado escenario ya se está desarrollando, existen marcos de gobernanza extremadamente limitados para garantizar que estas interacciones de IA se mantengan seguras.
Los sistemas de IA multi-agente plantean nuevos riesgos
Las empresas están desarrollando agentes de IA, definidos como capaces de operar en entornos complejos y perseguir objetivos con poca instrucción o supervisión. Mientras que las capacidades de agente de GPT-5 han sido recibidas con cierto escepticismo, existe un fuerte incentivo de mercado para seguir construyendo estos sistemas. En el Reino Unido, OpenAI ha anunciado un acuerdo gubernamental, y Palantir está colaborando con el NHS. En Europa, el ArchiBot de Anthropic está explorando los archivos del Parlamento Europeo.
A medida que los sectores privado y público aceleran y expanden su adopción para cosechar su valor comercial, los agentes de IA necesitarán comunicarse e interactuar tanto entre ellos como con las personas para completar sus tareas, creando así sistemas de IA multi-agente. Ya existen escenarios preocupantes que destacan los posibles modos de falla que pueden surgir de estas interacciones:
- Sistemas de IA que controlan el mercado de gasolina minorista en Alemania mostraron coludirse en perjuicio de los consumidores.
- Sistemas de IA involucrados en tres escenarios simulados de compartición de recursos (pesquería, pastizal y contaminación) aceleraron la depleción de recursos.
- Vehículos autónomos impulsados por IA con estrategias perfectamente válidas para mantener seguros a los pasajeros pueden fallar en coordinarse si sus estrategias son incompatibles.
Aunque los agentes de IA puedan operar de manera autónoma, su comprensión del contexto en el que se encuentran y las consecuencias de sus acciones es limitada. Además, los modelos fundamentales que forman la base de los agentes de IA no están diseñados teniendo en cuenta los riesgos de múltiples agentes y carecen de la inteligencia cooperativa necesaria para interactuar de manera segura.
Necesitamos construir infraestructura y estándares para la cooperación segura de IA
Contra este trasfondo, el Código de Práctica de IA de Propósito General de la UE es un inicio prometedor. Por primera vez, un marco de gobernanza ha reconocido los riesgos inherentes que surgen de las interacciones multi-agente. Aclara las obligaciones de cumplimiento para los proveedores de sistemas de IA que operan en la UE para mitigar estos riesgos a lo largo de todo el ciclo de vida de la IA.
Sin embargo, como suele suceder con las medidas de seguridad de IA, la velocidad a la que se implementan los marcos de gobernanza y políticas se queda atrás en comparación con los incentivos del mercado para el despliegue rápido de estos sistemas.
Lecciones de la gobernanza marítima
Aunque más simples que la compleja naturaleza de los sistemas de IA multi-agente, el sector marítimo puede ofrecer algunas pautas inspiradoras sobre cómo construir la gobernanza y la infraestructura adecuadas para los agentes de IA hoy:
- Hacer lo invisible visible. En la industria marítima, los Sistemas de Identificación Automática (AIS) permiten el seguimiento de la ubicación, velocidad, propiedad, objetivos y rutas pasadas de un buque. Los agentes de IA, la mayoría de los cuales son actualmente virtualmente invisibles, deben volverse descubribles y transparentes.
- ¿Qué puede enseñarnos la industria marítima sobre gobernanza? El derecho marítimo, anclado en marcos como la Convención de las Naciones Unidas sobre el Derecho del Mar (UNCLOS), establece obligaciones para la cooperación bilateral, regional e internacional.
- ¿Deberíamos construir una infraestructura cooperativa y descentralizada? Así como los sistemas marítimos dependen de mecanismos de comunicación, coordinación y resolución de conflictos, los agentes de IA necesitarán marcos similares.
Esta infraestructura debe fomentar la confianza, permitir la coordinación y garantizar la responsabilidad, proporcionando a los reguladores la supervisión y aclarando la responsabilidad cuando ocurran fallas.
Una ventana de gobernanza para Europa
La aceleración del despliegue de IA bajo presiones de mercado está produciendo una red de interacciones y resultados de complejidad sin precedentes. Abordar estos desafíos requerirá evaluar los aspectos técnicos de los modelos fundamentales de IA que estamos desarrollando. Sin embargo, sin una inversión oportuna en gobernanza, estos riesgos y resultados serán tanto impredecibles como difíciles de supervisar.
No permitiríamos que los barcos navegaran o los aviones despegaran sin visibilidad, coordinación o protocolos de evitación de conflictos. Y, sin embargo, estamos al borde de hacer eso con sistemas de IA avanzados (y actualmente falibles).
Con la falta de regulación en el Reino Unido y una situación poco clara en los Estados Unidos, es Europa la que puede allanar el camino para un despliegue responsable de IA multi-agente estableciendo medidas de gobernanza e infraestructura que el mundo pueda seguir.
