Apetito de riesgo en IA: límites, umbrales y pruebas

Lo esencial

• Un apetito de riesgo más alto es una decisión asumida: aceptar mayor incertidumbre para acelerar la adopción de la IA. Se trata de una elección que se documenta, no de una postura de cumplimiento que se proclama.
• El apetito se sitúa dentro de la capacidad de riesgo. La capacidad indica lo que la organización podría absorber; el apetito, lo que decide asumir.
• El Reglamento europeo de IA fija suelos que ninguna declaración atraviesa: el artículo 5 prohíbe determinadas prácticas por completo y el artículo 9 exige que el riesgo residual se considere aceptable.
• La norma ISO/IEC 42001 y el NIST AI Risk Management Framework devuelven ambos la decisión de aceptación a la organización, por escrito y con un titular designado.
• El apetito de riesgo solo resulta operativo cuando se convierte en umbrales medidos, en puntos de control del ciclo de vida y en pruebas verificables.

Qué significa realmente un apetito de riesgo más alto

El apetito de riesgo designa la cantidad y el tipo de riesgo que una organización está dispuesta a perseguir o a retener. La formulación procede del vocabulario normalizado de ISO (guía ISO 73, reeditada como ISO 31073:2022), y dos de sus términos soportan todo el peso: dispuesta, y retener. Describe una decisión adoptada de antemano sobre una exposición que se pretende conservar en lugar de eliminar.

La definición más rigurosa en circulación sigue siendo la que publicó el Consejo de Estabilidad Financiera en 2013, que habla del « nivel agregado y los tipos de riesgo que una entidad financiera está dispuesta a asumir dentro de su capacidad de riesgo para alcanzar sus objetivos estratégicos y su plan de negocio ». Si se retira el perímetro bancario, la estructura se mantiene válida para cualquier organización que despliegue IA: un nivel agregado, tipos nombrados, un límite impuesto por la capacidad y una justificación aportada por el objetivo. Es, de hecho, la misma arquitectura que el Banco de España viene exigiendo a través del marco de apetito de riesgo.

Declarar un apetito de riesgo más amplio significa por tanto algo más estrecho de lo que parece. Significa que se ha aceptado un volumen mayor de una exposición definida, al servicio de un objetivo enunciado, y que se sabe indicar dónde queda ahora la frontera. No significa tolerancia a las sorpresas ni una documentación más ligera. Dentro de un programa de gobernanza de la IA, un apetito más amplio se traduce normalmente en circuitos de aprobación abreviados para los sistemas de baja criticidad, en un perímetro de experimentación más extenso o en la disposición a poner en servicio con una limitación conocida y comunicada.

Apetito, tolerancia, capacidad y límites

Estos cuatro términos se emplean como sinónimos en la mayoría de los comités. No lo son.

• La capacidad de riesgo constituye el techo. El Consejo de Estabilidad Financiera la define como « el nivel máximo de riesgo que la entidad puede asumir dados sus recursos actuales, antes de incumplir sus restricciones ». La capacidad no se elige, se constata.
• El apetito de riesgo es el nivel en el que se decide operar por debajo de ese techo.
• La tolerancia al riesgo designa la variación admisible en torno a un objetivo concreto. El NIST la describe como « disposición a soportar el riesgo con el fin de alcanzar sus objetivos ».
• Los límites de riesgo pertenecen a la aritmética. El Consejo de Estabilidad Financiera los entiende como « medidas cuantitativas, basadas en hipótesis prospectivas, que asignan la declaración agregada de apetito a las líneas de negocio, a las entidades jurídicas pertinentes, a categorías específicas de riesgo y a las concentraciones ».

Un apetito sin límites no pasa de sentimiento. Unos límites sin apetito declarado resultan arbitrarios. Es la combinación de ambos la que vuelve defendible una decisión dieciocho meses después, cuando alguien pregunte por qué se autorizó aquel modelo.

Por qué la IA rompe la declaración clásica

Las declaraciones de apetito de riesgo se diseñaron para exposiciones cuantificables en dinero. Pérdidas de crédito, incidentes operativos, ratios de capital: todo se reduce a un número, y un número admite límite. La IA se resiste a esa reducción de cuatro maneras precisas.

Los daños no están denominados en euros. Una herramienta de preselección de candidaturas que descarta a un grupo protegido produce una discriminación, no una partida de pérdida. No cabe enunciar una cantidad aceptable de discriminación ilícita, porque esa cantidad es cero. El razonamiento vale para los daños a la seguridad de las personas en contextos sanitarios o industriales. Cuando el modo de fallo son los sesgos de la IA, el lenguaje del apetito deja de ser útil y lo releva el lenguaje de los controles. La AEPD ha señalado de forma constante que los derechos fundamentales no se ponderan frente a una ganancia de rendimiento.

El comportamiento deriva después de la decisión. Una declaración clásica se revisa cada año porque la exposición subyacente se mueve despacio. El rendimiento de un modelo, en cambio, sigue a los datos. Un sistema dentro del apetito en marzo puede quedar fuera en septiembre sin que se haya modificado una sola línea de código.

La opacidad limita lo limitable. No se fija un umbral sobre una propiedad que no se mide. Para muchos sistemas en producción, la respuesta honesta es que la calidad de las explicaciones, la robustez ante desplazamientos de distribución y los modos de fallo solo resultan observables en parte, lo que convierte cualquier cifra demasiado precisa en un consuelo falso.

A menudo se hereda el apetito de otro. Cuando el modelo se compra en lugar de construirse, las decisiones tomadas durante el preentrenamiento no son las propias. Quien despliega IA de propósito general absorbe el juicio de un proveedor previo sobre qué comportamiento resulta aceptable, con visibilidad limitada sobre cómo se formó ese juicio.

El Institute of Internal Auditors formula sin rodeos la versión organizativa del problema en su marco de auditoría de la IA: « Having a higher risk appetite in pursuit of AI goals may not be appropriate for an organization that is risk averse in other aspects, whereas organizations with historically high-risk tolerance may be more willing to accept AI-related risks. Regardless of an organization’s risk tolerance, it is essential to recognize and map AI risks during AI strategic planning. » La última frase es la cláusula operativa: el apetito nunca suprime la obligación de identificar lo que se está aceptando.

Los suelos que ningún apetito de riesgo cruza

Esta es la parte ausente de casi toda la literatura sobre el tema, y es la que determina si su declaración aguantará. En materia de IA, el apetito no es una variable libre en todo su recorrido: el derecho le recorta la parte inferior.

El artículo 5 del Reglamento de IA enuncia una prohibición, no un riesgo. El texto enumera prácticas que no pueden introducirse en el mercado ni utilizarse, entre ellas la puntuación social por parte de autoridades públicas, la extracción no selectiva de imágenes faciales para crear bases de datos de reconocimiento, la inferencia de emociones en el lugar de trabajo y en centros educativos, y ciertas formas de policía predictiva basadas únicamente en la elaboración de perfiles. Estas disposiciones se aplican desde el 2 de febrero de 2025. Una práctica prohibida no es una exposición que se pondere frente a un beneficio, es una actividad que se detiene. El artículo 99, apartado 3, tarifica el error en hasta 35 000 000 EUR o el 7 por ciento del volumen de negocios mundial total anual, si esta cifra fuese superior.

El artículo 9 fija la prueba de aceptación para los sistemas de alto riesgo. Para esa clase, el Reglamento exige que « el riesgo residual pertinente asociado a cada peligro, así como el riesgo residual global de los sistemas de IA de alto riesgo, se consideren aceptables ». Conviene observar lo que hace esa frase: no dice dónde se sitúa lo aceptable, de modo que el juicio le corresponde a usted, pero convierte ese juicio en obligatorio, expreso e imputable.

El artículo 9, apartado 5, impone además un orden de operaciones que ningún apetito de riesgo puede reordenar: eliminar o reducir el riesgo mediante el diseño y el desarrollo en la medida en que sea técnicamente viable, después aplicar medidas de mitigación y control para lo que reste, y después facilitar información y formación a los responsables del despliegue. La documentación es la última línea de defensa, no un sustituto de las dos primeras. Ninguna organización puede declararse más tolerante y saltar directamente a la información.

La decisión tampoco caduca en silencio. El artículo 9, apartado 2, describe el sistema de gestión de riesgos como « un proceso iterativo continuo planificado y ejecutado durante todo el ciclo de vida de un sistema de IA de alto riesgo, que requiere revisiones y actualizaciones sistemáticas periódicas ». Para el detalle de estas obligaciones, nuestra guía operativa del Reglamento europeo de IA recorre todo el camino de cumplimiento.

Dónde se aplica legítimamente un apetito más amplio

Nada de esto vacía el concepto: lo desplaza. El margen real reside en los sistemas de riesgo limitado y de riesgo mínimo, y en las decisiones operativas que los rodean. Con qué rapidez un caso de uso supera la revisión, cuánta experimentación interna avanza sin evaluación formal, cuántos pilotos en paralelo puede absorber la segunda línea, qué imprecisión residual se acepta en una herramienta interna de resúmenes de la que nadie extrae decisiones. Ahí es donde un apetito de riesgo más amplio se convierte en velocidad, y ahí el intercambio resulta honesto.

Lo que las normas obligan a dejar por escrito

Los dos marcos principales de IA se niegan a fijar su apetito en su lugar, y ambos exigen que registre el que adopte.

El NIST AI Risk Management Framework resulta inusualmente directo en este punto. Su sección 1.2.2 afirma: « While the AI RMF can be used to prioritize risk, it does not prescribe risk tolerance. » Y explica la razón a continuación: « Risk tolerance and the level of risk that is acceptable to organizations or society are highly contextual and application and use-case specific. » Precisa además que la tolerancia « can be influenced by legal or regulatory requirements », es decir, exactamente el recorte descrito arriba. El marco cierra el círculo con una instrucción: « Where established guidelines do not exist, organizations should define reasonable risk tolerance. » No existe, por tanto, una opción neutra. Abstenerse de definirlo ya es una posición, y una posición frágil ante un examen.

La subcategoría GOVERN 1.3 del mismo marco reclama a continuación la mecánica: mecanismos de evaluación de impacto, escalas de medición de los impactos potenciales, un enfoque de medición que combine impacto y probabilidad, escalas de riesgo homogéneas en toda la cartera de IA y el reconocimiento expreso de que la tolerancia cambia a lo largo del ciclo de vida.

La norma ISO/IEC 42001 aborda la cuestión desde el lado del sistema de gestión. Su apartado 6.1.2 exige establecer y mantener criterios de riesgo de IA documentados antes de realizar las evaluaciones, criterios que incluyen los de aceptación del riesgo. La secuencia es lo relevante: primero los criterios, después la evaluación, para que los resultados sean comparables entre sistemas y reproducibles en el tiempo. El apartado 6.1.3 exige después un proceso de tratamiento documentado y, punto decisivo, la aprobación del riesgo residual por parte de los propietarios del riesgo. Alguien firma. Sobre el encaje con el Reglamento, véase nuestro desglose de la pila normativa entre ISO 42001 y el Reglamento de IA.

Leídas en conjunto, las tres fuentes convergen en la misma exigencia: dejar por escrito los criterios, aplicarlos de forma constante, hacer que un responsable identificado acepte el remanente y volver sobre ello.

Fije el apetito por sistema, no por empresa

Una sola declaración de alcance corporativo no puede contener a la vez un modelo de decisión crediticia y una herramienta interna de actas de reunión. Intentarlo produce una declaración tan genérica que ya no limita nada, y ese es el fallo más frecuente en los programas de gobernanza de la IA.

La estructura que funciona descansa en un número reducido de bandas de apetito, asignadas por sistema, determinadas primero por la clase regulatoria y después por la exposición propia del caso de uso.

Nivel del sistema	Banda de apetito	Lo que un apetito más amplio permite	Lo que nunca permite
Práctica prohibida (art. 5)	Ninguna	Nada, la actividad no continúa	Cualquier despliegue, con cualquier apetito
Alto riesgo (anexo III o seguridad de productos)	Estrecha, justificada expresamente	Elección de la vía de mitigación, despliegue por fases, limitaciones residuales comunicadas	Eludir la jerarquía del art. 9, ap. 5, riesgo residual no aprobado, aceptación no documentada
Riesgo limitado (obligaciones de transparencia)	Moderada	Ciclos de revisión más rápidos, pilotos más amplios, cadencia de supervisión reducida	Omitir la propia obligación de transparencia
Riesgo mínimo, herramientas internas	Amplia	Adopción autoservicio, evaluación mínima, retirada rápida	Uso no declarado, deslizamiento silencioso hacia una cadena de decisión

Dos observaciones sobre el manejo de esta tabla. La primera: el nivel es una propiedad del caso de uso y no del modelo, de modo que un mismo modelo base puede aparecer en dos bandas distintas dentro de la misma empresa. La segunda: la tabla solo funciona sobre un inventario completo. Los sistemas que nadie ha declarado quedan por definición fuera de toda banda, y así es como la IA en la sombra desmonta en silencio un marco de apetito: no se puede haber aceptado un riesgo cuya existencia se desconoce.

Convertir el apetito de riesgo en umbrales y controles

Una banda es una declaración de intenciones. Lo que la vuelve exigible es una cadena de cuatro eslabones, cada uno de los cuales produce un artefacto.

1. De la banda a la medida. Seleccione el indicador que expresa la exposición de ese sistema: diferencia de tasas de selección entre grupos, tasa de falsos negativos en una clase crítica para la seguridad, tasa de afirmaciones materialmente incorrectas sobre un conjunto de evaluación muestreado, tasa de escalado a un revisor humano.
2. De la medida al umbral. Fije la cifra, y fije dos: un valor de operación y un nivel de incumplimiento que active una acción. Un valor único no ofrece ningún aviso temprano.
3. Del umbral al punto de control. Vincule el umbral a un punto de decisión del ciclo de vida, para que pueda detener algo de verdad: autorización previa al despliegue, bloqueo de publicación, reatestación periódica. Un umbral que nadie comprueba en un punto de control es documentación, no control.
4. Del punto de control a la prueba. Registre la medición, la comparación, la decisión y quién aprobó. Es lo que pedirá una auditoría de IA, y es la única prueba duradera de que el apetito se respetó en lugar de proclamarse.

Dos mecanismos completan el diseño. El primero es una vía de excepción: un circuito de aprobación definido y situado a un nivel suficientemente alto para operar fuera de umbral, con fecha de caducidad. Los principios del Consejo de Estabilidad Financiera presuponen la misma estructura a través de la asignación de límites de riesgo. Sin una vía de excepción legítima, los equipos simplemente rodean el marco.

El segundo es la cadencia. Puesto que el artículo 9, apartado 2, trata la gestión de riesgos como continua, los umbrales requieren un ritmo de revisión anclado al comportamiento del sistema y no al calendario de auditoría. Cuando el control es una persona y no un indicador, la cuestión de diseño se desplaza a la profundidad de la supervisión, que tratamos en supervisión humana en el bucle o sobre el bucle. Cuando la superación de un umbral se convierte en un suceso notificable, toman el relevo las obligaciones de notificación de incidentes de IA del artículo 73.

Ejemplo práctico: de la banda a la prueba

Un banco pone en servicio un asistente conversacional dirigido a clientes, que responde a preguntas sobre productos sin adoptar decisiones. El caso de uso corresponde a riesgo limitado, se aplican obligaciones de transparencia, y el consejo ha aprobado una banda moderada para tener la herramienta disponible en un trimestre.

1. Indicador elegido: proporción de afirmaciones materialmente incorrectas sobre productos en una evaluación muestreada de 500 preguntas, ejecutada cada semana.
2. Umbrales fijados: operación por debajo del 1 por ciento, incumplimiento en el 3 por ciento.
3. Puntos de control vinculados: publicación bloqueada por encima del 1 por ciento en el lanzamiento; toda evaluación semanal superior al 3 por ciento activa el repliegue automático a un conjunto de respuestas predefinidas en un día hábil.
4. Pruebas producidas: el archivo de evaluación semanal, la comparación con el umbral, el registro de repliegues y la firma del responsable de producto sobre el riesgo residual en el lanzamiento.

La decisión queda así contrastable: una persona ajena al equipo puede examinar cuatro artefactos y determinar si la organización hizo lo que había anunciado.

A quién pertenece la decisión

El apetito de riesgo fracasa más a menudo como problema de titularidad que como problema de método.

El consejo, u órgano de gobierno equivalente, lo fija, porque aceptar riesgo en nombre de la organización constituye un acto de gobernanza y no puede delegarse en el equipo que se beneficia de esa aceptación. Los principios del Consejo de Estabilidad Financiera asignan deberes distintos al consejo, al director general y al director de riesgos precisamente por esa razón.

La dirección, primera y segunda línea, calibra. Esto consiste en traducir la banda a umbrales, realizar las evaluaciones y operar los puntos de control. El marco del Institute of Internal Auditors reparte estos papeles según su modelo de las tres líneas, correspondiendo a la segunda línea responder de si los controles se diseñaron correctamente y funcionan de forma efectiva.

La auditoría interna contrasta el resultado. No si el apetito era acertado, que es un juicio de negocio, sino si el apetito declarado se corresponde con la exposición realmente soportada y si las pruebas respaldan las aceptaciones registradas. Es esa brecha, entre el apetito anunciado y la realidad operativa, la que constituye el hallazgo relevante.

Una advertencia práctica para terminar. Si nadie puede nombrar a la persona que aceptó el riesgo residual de sus tres sistemas de IA con mayores consecuencias, no tiene un marco de apetito. Tiene un documento.

Preguntas frecuentes

¿Qué significa un apetito de riesgo más alto? Significa que la organización ha decidido aceptar un volumen mayor de un tipo de riesgo definido para perseguir un objetivo, y ha desplazado en consecuencia su frontera declarada. En IA eso compra normalmente velocidad: aprobaciones más cortas, pilotos más amplios o puesta en servicio con una limitación comunicada. No implica menos registros ni se extiende a las exposiciones que el derecho sitúa fuera de límites.

¿Es bueno un apetito de riesgo elevado? En sí mismo no es ni bueno ni malo. Resulta apropiado cuando es deliberado, delimitado, ajustado a la capacidad de la organización y coherente con el comportamiento observado en otros ámbitos de la casa. El Institute of Internal Auditors señala que un apetito más amplio hacia la IA puede no encajar en una organización por lo demás aversa al riesgo. El fallo no es un apetito elevado, es un apetito no declarado.

¿Qué diferencia hay entre apetito de riesgo y tolerancia al riesgo? El apetito designa el nivel agregado y los tipos de riesgo que se está dispuesto a asumir en una cartera o para un objetivo. La tolerancia designa la variación admisible en torno a un objetivo o indicador concreto, opera por tanto un nivel más abajo y se expresa habitualmente como rango o umbral. La capacidad es una tercera noción: el máximo absorbible antes de incumplir restricciones duras, que se mide en lugar de elegirse.

¿Cuáles son los niveles de apetito de riesgo? La mayoría de los marcos emplean tres o cuatro bandas, denominadas con frecuencia aversa, prudente o conservadora, moderada, y agresiva o abierta. Las etiquetas importan mucho menos que lo que cada banda autoriza. Para los sistemas de IA, el enfoque más útil consiste en anclar las bandas a los niveles de sistema, de modo que un sistema de alto riesgo lleve una banda estrecha expresamente justificada mientras que las herramientas internas de riesgo mínimo lleven una amplia.

¿Exige el Reglamento europeo de IA una declaración de apetito de riesgo? No con ese nombre. Lo que el artículo 9 impone para los sistemas de alto riesgo es un sistema de gestión de riesgos extendido al ciclo de vida, en el que el riesgo residual, peligro por peligro y en conjunto, se considere aceptable. Emitir ese juicio de forma constante en una cartera resulta imposible sin criterios de aceptación documentados, que es lo que exige directamente el apartado 6.1.2 de la norma ISO/IEC 42001. En la práctica, de ambas obligaciones nace un objeto que funciona como una declaración de apetito.

¿Con qué frecuencia debe revisarse el apetito de riesgo en IA? La banda en sí puede seguir el ciclo anual de gobernanza. Los umbrales que la sostienen, no, porque el comportamiento de los modelos cambia entre dos revisiones. Ancle la revisión de umbrales a las pruebas del sistema: una cadencia de evaluación establecida, cualquier cambio sustancial en los datos o en la versión del modelo, cualquier superación de umbral y cualquier variación de la clasificación regulatoria. El NIST formula la misma observación al señalar que la tolerancia y los niveles de riesgo pueden cambiar a lo largo del ciclo de vida de un sistema de IA.

Conclusión

Un apetito de riesgo más amplio constituye una posición estratégica legítima, y los programas de IA que se niegan a enunciar uno toman de todos modos las mismas decisiones, solo que sin dejar constancia. Lo que separa un apetito defendible de un eslogan es la cadena que le sigue: una banda nombrada por sistema, un indicador, dos umbrales, un punto de control capaz de detener algo, y un aprobador cuyo nombre figura sobre el riesgo residual. El Reglamento europeo de IA, la norma ISO/IEC 42001 y el NIST AI Risk Management Framework convergen en esa misma cadena por caminos distintos. Construirla una sola vez, en un lugar donde las pruebas se acumulen en vez de dispersarse, marca la diferencia entre una gobernanza que se puede demostrar y una gobernanza que solo se puede describir. Nuestra comparación entre plataforma de gobernanza de la IA y la pila de herramientas del entorno precisa dónde debe residir ese registro.