¿Quién será el primer CIO despedido por el caos de los agentes de IA?
Se prevé que los controles y la gobernanza inadecuados de los agentes de IA lleven a un gran número de demandas, multas regulatorias y despidos de CIO en los próximos cuatro años, según pronostica una firma de análisis de TI.
Hasta el 20% de las 1,000 empresas más grandes enfrentará uno de estos tres escenarios para 2030 debido a las interrupciones comerciales de alto perfil causadas por agentes de IA mal funcionando.
Desafíos en la gobernanza de agentes de IA
Los líderes de TI y de negocios en muchas empresas aún están buscando una buena gobernanza de los agentes, mientras que la salida de estos sigue siendo demasiado impredecible. Esto crea un riesgo considerable, ya que el error de un agente puede multiplicarse si otros agentes actúan sobre un resultado incorrecto, formando un «bucle interminable».
Muchas organizaciones han apresurado la implementación de agentes de IA por miedo a quedarse atrás, pero una buena gobernanza requiere un enfoque reflexivo. Los CIO deben considerar todos los riesgos al asignar agentes para automatizar tareas previamente realizadas por empleados humanos.
Expectativas de multas y demandas
Se espera que las multas regulatorias y los grandes acuerdos de demanda sean los escenarios más probables en los próximos años. La Unión Europea será activa en imponer multas a las empresas que violen las leyes de privacidad, y algunos estados de EE. UU. también podrían aprobar regulaciones sobre IA.
Las acciones de los agentes también podrían violar leyes estadounidenses como la Ley de Portabilidad y Responsabilidad de Seguros de Salud, que protege la privacidad médica.
Implicaciones para los CIO
Los CIO deberán ser proactivos sobre la gobernanza de los agentes. Se recomienda que requieran pruebas para acciones sensibles y hagan que cada acción sea rastreable. Además, deberían incluir humanos en el proceso para tareas sensibles y diseñar agentes que transfieran acciones cuando la situación sea ambigua o arriesgada.
La falta de una gobernanza sólida y disciplinas de control hará que las organizaciones luchen en un entorno de agentes. La gobernanza debe ser visible y documentada para que los CIO puedan defender sus decisiones en caso de incidentes.
Conclusión
La transición hacia agentes de IA reforzará buenas prácticas que algunas empresas ya siguen, mientras que otras recibirán una señal clara de que es necesario establecer controles prácticos antes de implementar la IA a gran escala. Los CIO desempeñarán un papel crucial en la configuración de estos controles, ya que la falta de respuesta adecuada ante incidentes puede resultar en la pérdida de confianza por parte de la junta directiva.
