Agentes de IA: mayores capacidades y riesgos incrementados
Los agentes de inteligencia artificial (IA) son sistemas de IA generativa orientados a objetivos que actúan de manera autónoma para realizar tareas. A diferencia de los sistemas de IA generativa tradicionales, que solo generan contenido basado en indicaciones, los agentes de IA están diseñados para procesar información, tomar decisiones y realizar acciones sin la necesidad de intervención humana constante.
Por ejemplo, se están desarrollando agentes de IA para conducir automóviles de manera autónoma o para detectar y prevenir amenazas cibernéticas. Estos agentes pueden emplear estrategias novedosas y creativas para alcanzar sus objetivos, explorando y optimizando sus métodos a medida que avanzan.
Riesgos Emergentes
Sin embargo, los agentes de IA pueden optar por estrategias que están desalineadas con las intenciones de sus desarrolladores. Asegurar esta alineación puede ser complicado, especialmente cuando el agente de IA interactúa con diversas personas, sistemas y datos. Este riesgo de resultados desconocidos se ve agravado en escenarios donde los agentes de IA interactúan con otros sistemas de IA, incluidos otros agentes de IA.
A medida que se les otorga mayor autonomía y acceso a más datos y sistemas, también aumenta el riesgo de desalineación y los daños asociados. Algunos de los riesgos inherentes a los sistemas de IA se amplifican en el contexto de los agentes de IA, mientras que otros surgen exclusivamente de su naturaleza autónoma.
Efecto Multiplicador
Los agentes de IA pueden causar varios daños, entre ellos:
- Daños físicos por errores, como drones autónomos que fallan.
- Violaciones de derechos de privacidad.
- Infracciones de derechos de autor o apropiación indebida de secretos comerciales.
- Producción de información sesgada, inexacta o fabricada (es decir, «alucinaciones»).
- Violaciones de la ley.
Estos posibles daños, aunque pueden ser causados por sistemas de IA en general, pueden resultar en mayores daños cuando se presentan en agentes de IA, debido a su naturaleza autónoma y la disminución de la supervisión humana.
Resultados Impredecibles por Desalineación
La alineación del modelo es un paso crítico para garantizar que un modelo de IA esté listo para su implementación. Sin embargo, incluso las empresas de IA más sofisticadas pueden no lograrlo, debido a la naturaleza impredecible de los agentes de IA y las diversas situaciones en las que pueden ser utilizados.
Ejemplos de resultados impredecibles incluyen a los agentes de IA que:
- “Hacen trampa” al hackear un sistema.
- Encuentran lagunas para manipular su propio entorno.
- Acceden y procesan datos personales en violación de las leyes de privacidad.
- Optimizan resultados (por ejemplo, en el comercio de acciones) al participar en comportamientos ilegales, como el comercio con información privilegiada.
Comportamiento Emergente en Interacciones de IA a IA
A medida que los agentes de IA interactúan más con sistemas de IA, incluido otros agentes, la probabilidad de acciones y consecuencias no intencionadas aumentará. Por ejemplo, un agente de IA podría “convencer” a otro sistema de IA para que eleve los privilegios del agente o le conceda acceso a datos o sistemas restringidos. Si bien ciertos casos de “comportamiento emergente” pueden ser bienvenidos, otros pueden causar efectos secundarios imprevisibles, incluidos daños o actos ilegales.
Agentes con Agencia
Los agentes de IA actúan en nombre de alguien. Desde una perspectiva legal, estos agentes pueden tener agencia, es decir, la autoridad real o aparente para vincular legalmente a quien los desplegó. Al igual que los agentes humanos, los agentes de IA podrían potencialmente cometer agravios, incumplir contratos o ejecutar nuevos contratos.
En un caso, un chatbot de atención al cliente ofreció un reembolso a un cliente. Aunque el chatbot no tenía la autoridad real para ofrecer el reembolso, un tribunal exigió a la empresa que respaldara la oferta de reembolso.
Agentes como Riesgos Cibernéticos
Los agentes de IA requieren una profunda integración con los sistemas y pueden actuar sin la aprobación humana. Por ejemplo, un agente de IA podría tener acceso a bases de datos a través de una API para recuperar, evaluar y actualizar registros o controlar dispositivos conectados a Internet.
Además, los agentes pueden ser especialmente susceptibles a la manipulación (por ejemplo, inyección de comandos, donde se incluyen instrucciones maliciosas en el aviso o contexto proporcionado al sistema de IA), ataques de cadena de suministro (por ejemplo, envenenamiento del modelo al comprometer una API en la que confía un agente de IA) o ataques por sistemas de IA adversariales. Estos riesgos, junto con el acceso potencialmente amplio a datos y sistemas, amplían la “superficie de ataque” para posibles brechas.
Mitigación de Riesgos
A pesar de los desafíos, existen pasos concretos que los equipos legales pueden considerar para gestionar y reducir los riesgos de los agentes de IA:
Marco de Gobernanza de IA
Establecer o actualizar el programa de gobernanza de IA de la organización para incluir a partes interesadas legales, técnicas y comerciales. Este grupo debería establecer políticas para el desarrollo y despliegue de agentes de IA, asegurando que se aborden temas como las pruebas de sesgo, la protección de datos y los sistemas de seguridad desde el principio.
Un marco de gobernanza formal proporciona supervisión y responsabilidad clara para los proyectos de IA y define roles, como quién es el “propietario” de los resultados del agente de IA en el lado comercial y quién en la dirección debe aprobar usos de alto riesgo.
Evaluación de Riesgos y Pruebas
Antes de desplegar agentes de IA y periódicamente después de su implementación, llevar a cabo evaluaciones de riesgo rigurosas. Considerar dedicar recursos adicionales a la prueba de aplicaciones de IA identificadas como de alto riesgo.
Se espera que algunas regulaciones futuras exijan tales evaluaciones (por ejemplo, las reglas provisionales de la Agencia de Protección de Privacidad de California sobre Tecnología de Toma de Decisiones Automatizadas exigen evaluaciones de impacto regulares para IA de alto riesgo). Incluso si no se requiere, tales evaluaciones pueden ayudar a identificar riesgos que deben ser gestionados.
Las evaluaciones de riesgo pueden incluir:
- Auditorías de sesgo (verificando si la IA tiene resultados discriminatorios utilizando datos de prueba).
- Evaluaciones de impacto sobre la privacidad (documentando qué datos personales utiliza el agente y asegurando que se implementen medidas de cumplimiento).
- Pruebas de estrés en la toma de decisiones del agente en casos extremos.
- Identificación de posibles modos de fallo (por ejemplo, si el agente podría cometer un error en una transacción financiera o negar servicios de manera inapropiada a un grupo particular).
Los abogados deben asegurar que los resultados de estas evaluaciones estén documentados y que cualquier problema identificado sea abordado adecuadamente por el equipo del producto.
Salvaguardias Contractuales y Claridad
Revisar y actualizar contratos relacionados con agentes de IA para reflejar los riesgos únicos. Si su empresa está proporcionando un servicio basado en agentes de IA, incluir exenciones explícitas o directrices de uso para limitar el uso indebido.
Al obtener servicios de agentes de IA de proveedores, exigir representaciones, garantías, convenios e indemnidades de que el agente de IA se comportará de acuerdo con expectativas definidas y se desarrollará y desplegará en cumplimiento con la ley y sin violaciones de derechos de terceros.
Monitoreo Continuo y Supervisión Humana
Desplegar agentes de IA con un plan para monitorear su comportamiento y un mecanismo para la intervención humana, incluyendo la respuesta a cualquier comportamiento emergente no deseado que pueda desarrollarse con el tiempo.
Legalmente, tener un “humano en el bucle” (participando en el proceso de toma de decisiones) o al menos un “humano en el bucle” (monitoreando activamente los resultados con la capacidad de intervenir) puede ayudar a mitigar el riesgo y demostrar un enfoque responsable.
Capacitación y Conciencia
Asegurar que no solo los desarrolladores de IA, sino también los usuarios finales y administradores del agente de IA, estén capacitados en su uso adecuado y límites. Por ejemplo, los empleados que utilizan un asistente de IA no deben confiar ciegamente en él; es esencial conocer cómo funciona y cómo detectar sus errores.
Conclusión
Los agentes de IA pueden ofrecer nuevas capacidades y eficiencias para las empresas, pero también crean potenciales riesgos legales. Los equipos legales deben considerar tomar medidas para asegurar que alguien pueda monitorear y asumir la responsabilidad de las acciones del agente, proteger los datos de los usuarios, prevenir resultados sesgados o dañinos y cumplir con la evolución de las regulaciones mediante una gobernanza proactiva y políticas claras.
