Agentic AI obtiene un marco de reglas: Singapur insiste en que los humanos mantengan el control
A medida que las empresas de inteligencia artificial (IA) continúan presentando apasionadas propuestas sobre los beneficios de los agentes de IA que pueden automatizar ciertos flujos de trabajo en un entorno empresarial, el gobierno de Singapur ha lanzado un nuevo marco diseñado para salvaguardar contra los riesgos que plantea el despliegue de la IA agentic y para garantizar el desarrollo responsable de la tecnología.
La Autoridad de Desarrollo de Medios e Infocomunicaciones de Singapur (IMDA) ha publicado su Modelo de Marco de Gobernanza de IA para la IA agentic, con un enfoque específico en los riesgos de esta tecnología y su impacto en los humanos en el lugar de trabajo.
Contexto del marco de gobernanza
El nuevo marco, publicado este mes, se basa en el Marco de Gobernanza de IA de Singapur de 2019, que en ese momento se centraba en principios de IA como la transparencia, la equidad y el enfoque en el ser humano. Ha habido conversaciones sobre los riesgos de la IA, particularmente la IA agentic y la marcha hacia la inteligencia artificial general (AGI).
Singapur es uno de los países que utiliza la IA en los servicios gubernamentales, habiendo desplegado exitosamente asistentes virtuales para su sector público. Estos asistentes han respondido a más de 15 millones de consultas desde 2014, resolviendo aproximadamente la mitad de las consultas que de otro modo habrían sido redirigidas a un humano en un centro de llamadas.
Importancia de la supervisión humana
El marco de la IA agentic de Singapur establece que la supervisión humana sigue siendo un elemento crucial y obligatorio. Aunque los agentes pueden actuar de manera autónoma, la responsabilidad humana sigue aplicándose. Una vez que se da luz verde para desplegar la IA agentic, una organización debe tomar medidas inmediatas para garantizar que los humanos sean responsables de manera significativa.
Esto incluye definir claramente la responsabilidad entre los diferentes actores dentro y fuera de la organización involucrados en el ciclo de vida del agente, así como medidas para asegurar que la intervención humana siga siendo efectiva con el tiempo, a pesar del sesgo de automatización.
Evaluación de los agentes de IA
Las empresas de IA han comenzado a desarrollar metodologías para evaluar los agentes. Estas evaluaciones incluyen pruebas basadas en código, evaluaciones basadas en modelos y parámetros de evaluación humana, que ayudan a definir el comportamiento y la efectividad de los agentes en diferentes contextos de trabajo.
Es fácil confundir a los agentes de IA como una forma singular de inteligencia artificial en un lugar de trabajo, pero esta es una tecnología multifacética. Existen agentes de codificación, agentes conversacionales, agentes de investigación y agentes de uso de software, cada uno diseñado para cumplir funciones específicas.
Riesgos y desafíos
El marco advierte que los sistemas de IA agentic presentan nuevos puntos de entrada para atacantes potenciales y también introducen riesgos internos debido a su capacidad para tomar decisiones sin supervisión humana. Por ello, es esencial establecer un sistema que incluya puntos de control o pasos que requieran aprobación humana, especialmente en flujos de trabajo sensibles.
Conclusión
Para las organizaciones que implementan IA agentic, las pautas de Singapur enfatizan la importancia de limitar el poder de los agentes y definir políticas que les permitan acceso solo a las herramientas y datos mínimos necesarios para realizar sus tareas. Esto asegura que los riesgos sean equilibrados y que se mantenga la responsabilidad y la trazabilidad en el uso de estos agentes en el entorno laboral.
