Lo esencial
- El sesgo algorítmico es un error sistemático y repetible de un sistema automatizado que produce resultados injustos o discriminatorios hacia determinadas personas o grupos, no un fallo aleatorio.
- Rara vez surge de una sola línea de código. Entra a través de los datos, el diseño del modelo y el contexto humano e institucional que rodea al sistema.
- El Reglamento de IA de la UE lo convierte en una obligación jurídica: el artículo 10 obliga a los proveedores de sistemas de alto riesgo a examinarlo y mitigarlo, con aplicación a partir del 2 de agosto de 2026.
- Medir el sesgo consiste en comparar los resultados entre grupos protegidos con métricas de equidad como la paridad demográfica o la igualdad de oportunidades.
- El control duradero es una cuestión de gobernanza, no de un arreglo puntual: pruebas documentadas, supervisión humana y monitorización registradas en un sistema de gestión de la IA.
¿Qué es el sesgo algorítmico?
El sesgo algorítmico designa los errores sistemáticos y repetibles de un sistema informático que producen resultados injustos, por ejemplo al favorecer a un grupo de usuarios frente a otro sin una razón legítima. La palabra decisiva es sistemático. Un modelo que se equivoca al azar es simplemente impreciso. Un modelo que se equivoca siempre en perjuicio del mismo grupo está sesgado, y es esa regularidad la que convierte un defecto técnico en un problema jurídico y reputacional. Tres términos se confunden a menudo. El sesgo de los datos designa un desequilibrio en un conjunto de datos, por ejemplo un corpus de entrenamiento que infrarrepresenta a las personas mayores. El sesgo de la IA es el término general que abarca cualquier comportamiento injusto de un sistema de IA. El sesgo algorítmico se sitúa entre ambos: es el patrón injusto que un algoritmo produce cuando los datos, las decisiones de diseño y el despliegue se combinan. El sesgo de los datos es una de sus causas, el sesgo algorítmico es su resultado observable. El encuadre más útil para la gobernanza procede del instituto estadounidense de normalización NIST. En la publicación NIST SP 1270 el sesgo de la IA se trata como un fenómeno sociotécnico: no puede eliminarse solo ajustando el código, porque refleja decisiones sobre los datos, los objetivos y el contexto social de uso. Esto tiene una consecuencia directa para el cumplimiento. Una respuesta creíble debe abarcar procesos, personas y gobernanza, no solo una métrica del modelo. Para una organización que construye un sistema de gestión de la IA, esa es la frontera entre un control defendible y un mero trámite.
De dónde procede el sesgo algorítmico
NIST SP 1270 clasifica los orígenes del sesgo en tres categorías. Cada una exige un tipo de control distinto, y por eso nombrar la categoría es el primer paso práctico.
Sesgo computacional y estadístico
Es el sesgo que procede de los datos y del propio modelo. Datos de entrenamiento que infrarrepresentan a un grupo, etiquetas que codifican un prejuicio pasado o una variable proxy que sustituye con discreción a una característica protegida orientan las predicciones en una dirección sesgada. Un culpable frecuente es la función objetivo: optimizar una sola meta, como el coste o la interacción, puede perjudicar a los grupos que esa meta describe mal. El modelo hace exactamente lo que se le pidió, y ahí reside el problema.
Sesgo sistémico
El sesgo sistémico se hereda de las instituciones y de la historia, no de un error puntual en los datos. Si un proceso de selección favoreció durante años a un grupo de población, un modelo entrenado con ese historial aprende la misma preferencia aunque ninguna característica protegida aparezca entre las variables. El algoritmo se vuelve fiel al pasado e injusto con el presente. Eliminar el campo sensible no basta, porque otras variables actúan como sustitutos.
Sesgo humano
El sesgo humano entra a través de las personas que diseñan, construyen y usan el sistema. Los atajos cognitivos condicionan la elección de las variables, la interpretación de las salidas y el momento en que un revisor se fía de la máquina. El sesgo de automatización, la tendencia a confiar en una salida automatizada aunque otros indicios la contradigan, es uno de los más comunes y peligrosos, porque puede convertir una recomendación defectuosa en una decisión final mientras una persona figura nominalmente en el circuito. Estas categorías siguen el ciclo de vida del aprendizaje automático. La lista de verificación de auditoría de IA preparada para el Comité Europeo de Protección de Datos por la doctora Gemma Galdon Clavell sitúa el sesgo en tres momentos: preprocesamiento (recogida y preparación de los datos), procesamiento (entrenamiento e inferencia del modelo) y posprocesamiento (cómo una predicción se convierte en una decisión). Nombrar el momento concreta la corrección, porque un problema de etiquetado no se resuelve con una regla de despliegue.
El sesgo algorítmico en la vida real
Las definiciones se asientan mejor sobre casos documentados, y varios reaparecen entre investigadores y autoridades. En la justicia penal, la herramienta de predicción de reincidencia COMPAS se convirtió en el ejemplo de referencia tras una investigación de ProPublica en 2016: los acusados negros tenían casi el doble de probabilidades de ser clasificados erróneamente como de alto riesgo (alrededor del 45 por ciento) que los acusados blancos (alrededor del 23 por ciento), mientras que estos últimos eran etiquetados con más frecuencia como de bajo riesgo pese a reincidir después. En la sanidad, un algoritmo estudiado por Obermeyer y sus colegas en Science (2019) influyó en decisiones de atención para unos 200 millones de personas en Estados Unidos. Usaba el coste sanitario como aproximación de la necesidad de atención. Como históricamente se había gastado menos en pacientes negros con las mismas patologías, el modelo los calificaba como menos necesitados. Junto con el proveedor, los investigadores redujeron el sesgo medido en torno al 80 por ciento una vez corregido el proxy. En la selección de personal, Amazon retiró una herramienta experimental tras comprobar que penalizaba los currículos con la palabra women’s y favorecía a los candidatos varones, porque se había entrenado con una década de currículos mayoritariamente masculinos. En el crédito al consumo, la Apple Card fue objeto de escrutinio regulatorio en 2019 tras informarse de que a las mujeres se les ofrecían límites inferiores a los de hombres con perfiles comparables. El patrón es constante. Ningún equipo se propuso discriminar. El sesgo llegó mediante variables proxy, datos históricos y supuestos sin examinar, y por eso precisamente hay que probarlo en lugar de presumir su ausencia.
Quién es responsable: proveedores y responsables del despliegue
Una fuente recurrente de confusión es a quién pertenece el problema del sesgo. El Reglamento de IA de la UE responde repartiendo las obligaciones entre los proveedores, que desarrollan o introducen un sistema en el mercado, y los responsables del despliegue, que lo utilizan. Los proveedores asumen las obligaciones sobre datos y modelo. Construyen la cadena de entrenamiento y eligen el objetivo, por lo que están más cerca del sesgo computacional y estadístico. Los responsables del despliegue asumen la obligación de contexto. Deciden dónde y sobre quién se usa un sistema, y ahí surgen a menudo el sesgo sistémico y el de automatización. Un modelo sin sesgo puede aún producir resultados injustos si se despliega sobre una población para la que nunca se validó. Para las organizaciones reguladas, este reparto tiene una implicación práctica: los controles del sesgo deben existir a ambos lados de la relación con el proveedor. La contratación es el punto de control natural. Un responsable del despliegue que exige al proveedor, antes de firmar, sus pruebas de ensayos de sesgo, su análisis de representatividad y sus límites de uso previstos convierte un momento contractual en un control. La plataforma de gobernanza de la IA de AI Sigil está construida en torno a ese traspaso, de modo que las pruebas del proveedor y las evaluaciones del responsable del despliegue residan en un único expediente.
Por qué el sesgo algorítmico es hoy una obligación de cumplimiento
Durante buena parte de la última década el sesgo se trató como una cuestión ética. Con el Reglamento de IA de la UE es una cuestión jurídica, con obligaciones y plazos concretos. El artículo 10 del Reglamento de IA exige que los datos de entrenamiento, validación y prueba de los sistemas de alto riesgo sean pertinentes, suficientemente representativos y, en la medida de lo posible, libres de errores y completos respecto a la finalidad prevista. Exige explícitamente que la gobernanza de los datos incluya un examen de los posibles sesgos que puedan afectar a la salud y la seguridad, perjudicar los derechos fundamentales o provocar discriminación prohibida por el Derecho de la Unión, junto con medidas para detectar, prevenir y mitigar dichos sesgos. El artículo 10, apartado 5, va más lejos y permite a los proveedores tratar categorías especiales de datos personales cuando sea estrictamente necesario para detectar y corregir sesgos, con las debidas garantías. Las obligaciones para los sistemas de alto riesgo del anexo III son aplicables a partir del 2 de agosto de 2026. Los responsables del despliegue tienen su propia obligación. El artículo 27 obliga a determinados responsables del despliegue de sistemas de alto riesgo, entre ellos muchos organismos públicos, a realizar una evaluación de impacto sobre los derechos fundamentales antes del primer uso, describiendo los grupos afectados, los riesgos específicos de daño, las medidas de supervisión humana y los mecanismos de reclamación. El sesgo está en el centro de esa evaluación, porque un solo sistema sesgado en la educación puede afectar a la vez a la no discriminación, al derecho a la educación y a los derechos de la infancia. Conviene distinguir dos planos del Derecho. El Reglamento de IA impone una obligación ex ante, técnica, de examinar y mitigar el sesgo durante el desarrollo. El Derecho antidiscriminatorio actúa ex post, sobre los resultados, cuando una persona sufre un daño. La doctrina jurídica reciente subraya que ambos son complementarios sin ser idénticos: cumplir uno no satisface automáticamente el otro. Un programa defendible prevé los dos y documenta su razonamiento. Las normas traducen la obligación en un modelo operativo. El marco del NIST para la gestión del riesgo de la IA sitúa el trabajo sobre el sesgo en su función MEASURE. La norma ISO/IEC 42001 sobre sistemas de gestión de la IA aporta el lugar documentado para los controles del sesgo, sus responsables y las pruebas. Juntas convierten el sesgo de un tema de investigación en un control gestionado y trazable.
Cómo detectar y medir el sesgo algorítmico
La detección empieza antes de cualquier cálculo: hay que decidir qué grupos proteger. Suelen seguir características protegidas por la ley, como el origen, el sexo, la edad, la religión o la discapacidad, junto con sus proxys más cercanos, y esa elección debe quedar registrada. Definidos los grupos, se comparan los resultados entre ellos. Las métricas de equidad en las que se apoyan la mayoría de las metodologías de auditoría, incluida la lista del Comité Europeo de Protección de Datos, son sencillas de calcular y de documentar:
- Paridad demográfica: cada grupo recibe resultados positivos a una tasa similar.
- Igualdad de oportunidades: las personas cualificadas reciben resultados positivos a una tasa similar entre grupos.
- Igualdad de probabilidades: las tasas de error, falsos positivos y falsos negativos, son similares entre grupos.
- Diferencia de riesgo (p1 menos p2) y razón de riesgo (p1 dividido por p2): medidas sencillas y auditables de la brecha entre dos grupos.
Ninguna métrica es correcta en toda situación, y varias no pueden satisfacerse a la vez por razones matemáticas. La elección de la métrica es, por tanto, una decisión de gobernanza en sí misma, que debe justificarse por escrito y luego contrastarse con una verdad de referencia y con la representatividad de los datos de entrenamiento. Una cifra de equidad sin justificación registrada es una prueba débil en una auditoría.
Cómo mitigar y gobernar el sesgo algorítmico
Una mitigación que resiste el escrutinio es repetible. Un flujo de trabajo práctico, tomado de la metodología de auditoría del Comité Europeo de Protección de Datos, se desarrolla en cuatro pasos que cualquier equipo de gobernanza puede documentar.
- Ficha del modelo: registrar la finalidad, el responsable, las fuentes de datos y el uso previsto del sistema.
- Mapa del sistema: captar cómo se conectan el modelo, el sistema técnico más amplio y el proceso de decisión, y quién es responsable en cada fase.
- Momentos y fuentes del sesgo: identificar dónde puede entrar el sesgo en el preprocesamiento, el procesamiento y el posprocesamiento.
- Ensayo de sesgo: ejecutar las métricas de equidad sobre los grupos protegidos definidos y luego registrar los resultados y las acciones adoptadas.
Cada paso corresponde a las tres fases del ciclo de vida que NIST SP 1270 recomienda para gestionar el sesgo: prediseño, diseño y desarrollo, y despliegue. Los controles situados pronto, como datos representativos y un objetivo bien elegido, son más económicos y eficaces que las correcciones añadidas tras la puesta en producción. Para los sistemas de mayor riesgo o no supervisados, una auditoría adversaria, que sondea el sistema con entradas diseñadas a propósito, puede revelar sesgos que las pruebas estándar pasan por alto. Las correcciones técnicas son solo la mitad de la respuesta. Como el sesgo es sociotécnico, un control duradero descansa en la gobernanza: un responsable designado para cada modelo, una supervisión humana real que resista al sesgo de automatización, un mecanismo de reclamación para las personas afectadas y un nuevo ensayo periódico ante cada cambio del sistema o de su población. Con el Reglamento de IA la prueba forma parte de la obligación, así que este trabajo debe quedar por escrito. Registrar los ensayos de sesgo, las decisiones de mitigación y la monitorización en un único inventario y sistema de gestión de la IA convierte buenas intenciones dispersas en un control auditable, vinculado directamente al artículo 10 y a la norma ISO/IEC 42001.
Preguntas frecuentes
¿Qué es el sesgo algorítmico? El sesgo algorítmico es un error sistemático y repetible de un sistema automatizado que produce resultados injustos o discriminatorios hacia determinadas personas o grupos sin una razón legítima. Se distingue de la imprecisión aleatoria porque perjudica siempre a las mismas personas, lo que lo hace a la vez medible y jurídicamente relevante. ¿Cuál es un ejemplo de sesgo algorítmico? Un caso bien documentado es el de un algoritmo sanitario que usaba el gasto pasado como aproximación de la necesidad médica. Como históricamente se había gastado menos en pacientes negros con las mismas patologías, el sistema los calificaba como menos necesitados, afectando a la atención de unos 200 millones de personas hasta que se corrigió el proxy y el sesgo se redujo en torno al 80 por ciento. ¿Cuál es la diferencia entre sesgo algorítmico y sesgo de la IA? El sesgo de la IA es el término general para cualquier comportamiento injusto de un sistema de IA. El sesgo algorítmico es el patrón injusto concreto que un algoritmo produce cuando los datos, el diseño y el despliegue interactúan. El sesgo de los datos, es decir, el desequilibrio del conjunto de datos subyacente, es una de sus causas principales, no un sinónimo. ¿Qué es el sesgo de automatización? El sesgo de automatización es la tendencia humana a confiar en exceso en una salida automatizada, incluso cuando otros indicios sugieren que es errónea. Importa para la supervisión de la IA porque puede convertir en silencio una recomendación defectuosa en una decisión final, anulando el sentido de tener a una persona en el circuito. ¿Es ilegal el sesgo algorítmico según el Reglamento de IA de la UE? El Reglamento no prohíbe el sesgo de forma absoluta, pero convierte su examen y mitigación en una obligación legal para los sistemas de alto riesgo con arreglo al artículo 10, aplicable desde el 2 de agosto de 2026. Además, el Derecho antidiscriminatorio puede intervenir cuando los resultados sesgados causan un daño a una persona. ¿Cómo se mide el sesgo algorítmico? Se definen los grupos protegidos y luego se comparan los resultados entre ellos con métricas de equidad como la paridad demográfica, la igualdad de oportunidades, la igualdad de probabilidades y la diferencia o razón de riesgo entre grupos, contrastando los resultados con una verdad de referencia y con la representatividad de los datos de entrenamiento.
Conclusión
El sesgo algorítmico ya no es la cuestión de si un sistema es ético en abstracto. Es la cuestión de si una organización puede demostrar, con pruebas, que buscó los resultados injustos, los midió y actuó. El Reglamento de IA de la UE, NIST SP 1270 y la norma ISO/IEC 42001 apuntan a la misma expectativa: el sesgo es un control gestionado, documentado y auditable, no una limpieza puntual. Los equipos que lo tratan así, con responsabilidad clara, pruebas de equidad y monitorización reunidas en un mismo lugar, cumplirán los plazos de 2026 y construirán sistemas en los que clientes y autoridades puedan confiar. AI Sigil ayuda a las organizaciones reguladas a poner en práctica exactamente estos controles en una única plataforma de gobernanza de la IA.