La Ley de IA de la UE – Enfoque en los Sistemas de Reconocimiento Emocional en el Lugar de Trabajo
La inteligencia artificial de reconocimiento emocional (Emotion AI) se refiere a la IA que utiliza diversos conjuntos de datos biométricos y otros, como expresiones faciales, pulsaciones de teclas, tono de voz y mannerismos conductuales para identificar, inferir y analizar emociones. Basada en la computación afectiva, con orígenes en los años 90, este campo multidisciplinario combina estudios de procesamiento de lenguaje natural, psicología y sociología.
Recientemente, la Emotion AI se ha beneficiado de un aumento sin precedentes en el poder de cómputo. La tecnología de sensores sofisticados en dispositivos e IoT permite que enormes cantidades de datos sean evaluadas por estos sistemas. Se ha informado que se proyecta que el mercado de la Emotion AI crecerá de USD 3 mil millones en 2024 a USD 7 mil millones en los próximos cinco años.
La Emotion AI se implementa cada vez más en muchos contextos, incluyendo la detección de conflictos, crimen o daño en espacios públicos como estaciones de tren o sitios de construcción. También se utiliza en los sectores tecnológico y de bienes de consumo, donde los insights detallados del cliente, las ventas hiper-personalizadas y la segmentación de mercado matizada son el objetivo principal.
Varias organizaciones compiten por ofrecer a sus clientes la clave para predecir lo que realmente desean, incluyendo más allá de los gigantes tecnológicos tradicionales. Una startup australiana está actualmente en pruebas beta de lo que ha denominado «el primer modelo de lenguaje emocional del mundo», que tiene como objetivo rastrear la emoción en tiempo real. Otros están lanzando chatbots terapéuticos utilizando Emotion AI para ayudar a las personas a mejorar su salud mental.
No obstante, dado que la Emotion AI es ahora una tecnología fuertemente regulada, las organizaciones que desarrollan y utilizan estas aplicaciones deben mantenerse dentro del marco legal.
Requisitos de la Ley de IA de la UE
Desde su entrada en vigor el 1 de agosto de 2024, la Ley de IA de la UE impone requisitos robustos en torno a la Emotion AI, clasificándola en las categorías de “Alto Riesgo” y “Uso Prohibido”, dependiendo del contexto.
La Emotion AI que cae dentro de la categoría Prohibida ya está efectivamente prohibida en la UE. A partir del 2 de febrero de 2025, el Artículo 5(1)(f) de la Ley de IA de la UE prohíbe “la colocación en el mercado, la puesta en servicio para este propósito específico, o el uso de sistemas de IA para inferir emociones de una persona natural en las áreas de trabajo y instituciones educativas, … excepto cuando el uso esté destinado a razones médicas o de seguridad”.
La Comisión Europea publicó el 4 de febrero de 2025 las «Directrices sobre prácticas de inteligencia artificial prohibidas» para proporcionar más información sobre los parámetros de las diversas definiciones.
Aplicaciones Prácticas de Emotion AI en el Lugar de Trabajo
Este artículo profundiza en dos aplicaciones prácticas de Emotion AI en entornos laborales para ilustrar el impacto de estas nuevas reglas. También se destacan los desafíos que se esperan en la práctica, dada la interpretación matizada de la prohibición del Artículo 5(1)(f) establecida en las Directrices.
Caso de Estudio 1: Análisis de Sentimientos en Llamadas de Ventas
El primer caso de estudio involucra el uso de análisis de sentimientos en llamadas de ventas. Consideremos un equipo de ventas ocupado en una empresa tecnológica que busca alcanzar su objetivo mensual en términos de contacto con nuevos clientes y cierres de negocios. El Director de Ingresos de esta empresa global, con sede en EE. UU., busca implementar un nuevo software que permita un entrenamiento uniforme en la capacitación de ventas para el personal en todo el equipo global.
Este software destacará las características de las llamadas realizadas por los mejores vendedores, comparándolas con las de los menos exitosos. Todo el equipo de ventas se clasifica en una tabla de líderes cada mes, con los mejores vendedores celebrados por la empresa.
La implementación de software de grabación y análisis de llamadas se considera invaluable para determinar la clave del éxito en tales llamadas y, en última instancia, los ingresos para la empresa.
Caso de Estudio 2: Proceso de Contratación en una Consultoría
El segundo caso de estudio involucra a una consultoría que desea ampliar su red de reclutamiento para aceptar solicitudes para roles completamente remotos, utilizando un proceso de solicitud y incorporación totalmente remoto. La empresa está interesada en adoptar software que permita la programación de entrevistas utilizando una plataforma que incluya características innovadoras impulsadas por IA.
La tecnología incluye una función que evalúa las expresiones faciales de los candidatos, el tono de voz y otras señales no verbales para identificar entusiasmo o confianza, estrés o desinterés.
Conclusiones y Recomendaciones
La introducción de la Ley de IA de la UE significa que la mayoría de las empresas necesitarán aumentar su vigilancia con respecto a sus prácticas de IA, especialmente en aplicaciones desplegadas en relación con empleados o solicitantes de empleo.
Los sistemas de gobernanza apropiados, que incluyen capacitación interna y educación, así como una debida diligencia robusta y auditorías para permitir la identificación de cualquier uso potencial prohibido de la IA, serán clave para que las organizaciones cumplan con la Ley.
Fuera de las prácticas prohibidas en el lugar de trabajo, las empresas que implementen sistemas de reconocimiento emocional en relación con los clientes deberán asegurarse de cumplir con las normas para los Sistemas de IA de Alto Riesgo. Las disposiciones relevantes de la Ley de IA de la UE que se aplican a la IA de Alto Riesgo entrarán en vigor en agosto de 2026, y se espera más orientación de la Comisión Europea sobre la interpretación de las diversas definiciones y obligaciones relacionadas con la Emotion AI de Alto Riesgo.
Las consecuencias de proporcionar o utilizar Sistemas de IA Prohibidos en la UE conllevan las multas más altas bajo la Ley de IA de la UE, siendo la mayor de EUR 35,000,000 o el 7% de la facturación anual total de la organización. Dado que esta multa podría combinarse con una multa bajo el GDPR, la organización podría enfrentarse a una multa de hasta el 11% de la facturación total. También hay un impacto reputacional significativo por cometer estos errores. Por lo tanto, el momento de actuar en la construcción de su gobernanza de IA es ahora.
