Agentes de IA: ¿Cómo cambian el juego para la gobernanza de la IA en Australia?
En el último año, ha surgido una nueva clase de herramientas de inteligencia artificial (IA) conocidas como agentes autónomos (Agentes), marcando lo que comúnmente se denomina la era agentica. Si bien los Agentes han introducido nuevas posibilidades en la automatización, su naturaleza dinámica y autónoma también tiene el potencial de intensificar ciertos problemas existentes y familiares asociados con la IA, tales como la discriminación, la propiedad intelectual, la privacidad, la transparencia y la explicabilidad. Por lo tanto, surge la pregunta: ¿en qué medida los Agentes presentan problemas novedosos y requieren nuevos mecanismos de gobernanza o legales en comparación con las olas de IA anteriores?
Entrando en la ‘era agentica’, pero ¿qué es exactamente un ‘agente’?
Aún no existe una definición establecida de lo que constituye un Agente, ya que el término ha sido aplicado a una amplia gama de tecnologías, desde modelos de razonamiento (como el modelo ‘Computer Use’ de Anthropic), hasta copilotos agenticos (como el Operador y Manus de ChatGPT), e incluso la inteligencia artificial general. Si bien la definición precisa y la forma de un Agente siguen siendo objeto de debate, existe un consenso general sobre que las características clave de un Agente incluyen autonomía, adaptabilidad y orientación a objetivos con mínima o ninguna intervención humana.
Es importante distinguir entre Agentes y IA agentica, que a menudo se utilizan de manera intercambiable. La IA agentica se refiere a un paradigma más avanzado donde sistemas autónomos (es decir, Agentes) colaboran para lograr objetivos complejos a través de razonamiento en tiempo real, composición dinámica de tareas y autooptimización.
Un ‘caja negra’ más turbia
Los principios actuales de transparencia en la IA suelen centrarse en divulgaciones (como avisos y formularios de consentimiento) para informar a los individuos si están interactuando con IA o si un contenido particular ha sido generado por IA. Sin embargo, estos principios son limitados debido al problema de la caja negra, donde los patrones ocultos a través de los cuales un modelo infiere una salida de una entrada no son necesariamente explicables en términos significativos.
Este problema se agrava en el contexto de los Agentes, ya que pueden ejecutar rápidamente volúmenes de microacciones en segundo plano, a menudo a través de varios sistemas diferentes. Estas microacciones pueden no estar bajo el control de, o ser visibles para, la organización que implementa el Agente.
Gestionando riesgos en movimiento
Los Agentes son considerados dinámicos porque pueden adaptarse y desarrollar atributos emergentes sin cambios manuales en su código fuente o configuraciones. Pueden fluctuar entre niveles de riesgo a lo largo de un flujo de trabajo. Por ejemplo, una organización que utiliza un bot de servicio al cliente que no solo responde consultas (como un chatbot regular) sino que también maneja tareas de forma autónoma, puede verse enfrentada a un aumento de riesgo en el proceso.
Los marcos de gobernanza deberán evolucionar para asegurar que los Agentes operen dentro de umbrales de riesgo aceptables. Parte del proceso de gobernanza incluirá definir claramente cuáles son las barras de seguridad para lograr un objetivo particular, junto con consideraciones de seguridad informática.
Salvaguardias técnicas necesarias más que nunca
Como se ha mencionado, los Agentes representan un cambio tecnológico respecto al paradigma del usuario-prompt-respuesta de la IA generativa, donde la mayoría de los riesgos pueden ser mitigados por barras de seguridad centradas en el comportamiento humano. Sin embargo, con Agentes capaces de ejecutar objetivos complejos de forma autónoma, la ecuación de riesgo está cambiando.
Estamos viendo la aparición de herramientas como plataformas de cumplimiento de IA que proporcionan paneles de control, registros, análisis y características de notificación que ayudan a las organizaciones a monitorear las acciones e interacciones de un Agente en tiempo real.
¿Qué pueden hacer los equipos legales?
Los equipos legales necesitarán mantenerse al tanto de la gestión de riesgos y responsabilidades asociadas con los Agentes. La gestión del riesgo legal es especialmente importante, ya que la ley sobre la responsabilidad de los Agentes aún está en desarrollo. Una colaboración proactiva entre los equipos legales, de negocio, de riesgo/cumplimiento y de tecnología es esencial para desarrollar marcos de gobernanza efectivos.
Los equipos legales desempeñarán un papel importante en la elaboración de requisitos de documentación de gobernanza para los Agentes, el desarrollo de planes de respuesta a incidentes y la garantía de que se mantengan registros de auditoría de las decisiones de los Agentes.
