Acto de IA de la UE – Enfoque en los Sistemas de Reconocimiento Emocional en el Lugar de Trabajo
El reconocimiento de emociones mediante inteligencia artificial (IA emocional) se refiere a la IA que utiliza diversos conjuntos de datos biométricos y otros, como expresiones faciales, pulsaciones de teclas, tonalidad de voz y mannerismos conductuales para identificar, inferir y analizar emociones. Basado en la computación afectiva, con orígenes en los años 90, este campo multidisciplinario une estudios de procesamiento de lenguaje natural, psicología y sociología.
Recientemente, la IA emocional ha beneficiado de niveles sin precedentes de potencia de cálculo. La tecnología de sensores sofisticados en dispositivos e IoT significa que enormes cantidades de datos pueden ser evaluadas por estos sistemas. Se ha informado que el mercado de la IA emocional está proyectado para crecer de USD 3 mil millones en 2024 a USD 7 mil millones en los próximos cinco años.
La IA emocional se despliega cada vez más en muchos contextos, incluidos la detección de posibles conflictos, crímenes o daños en espacios públicos como estaciones de tren o sitios de construcción. También se confía en ella en los sectores tecnológico y de bienes de consumo, donde las perspectivas de clientes detalladas, ventas hiperpersonalizadas y segmentación de mercado matizada son el santo grial.
Una variedad de organizaciones compiten para ofrecer a los clientes la clave para predecir lo que realmente quieren, incluyendo más allá de los gigantes tecnológicos tradicionales. Una startup australiana está actualmente en fase beta de lo que ha denominado el primer modelo de lenguaje emocional del mundo, que tiene como objetivo rastrear emociones en tiempo real. Otros están lanzando chatbots terapéuticos utilizando IA emocional para ayudar a las personas a mejorar su salud mental.
Sin embargo, dado que la IA emocional es ahora una tecnología altamente regulada, las organizaciones que desarrollan y utilizan estas aplicaciones deben mantenerse dentro de los límites de la ley.
El Acto de IA de la UE y sus Requisitos
Desde su entrada en vigor el 1 de agosto de 2024, el Acto de IA de la UE impone requisitos robustos en torno a la IA emocional, colocándola en las categorías de «Alto Riesgo» y «Uso Prohibido», dependiendo del contexto.
La IA emocional que cae dentro de la categoría Prohibida ya está efectivamente prohibida en la UE. A partir del 2 de febrero de 2025, el Artículo 5(1)(f) del Acto de IA de la UE prohíbe «la comercialización, la puesta en servicio para este propósito específico, o el uso de sistemas de IA para inferir emociones de una persona natural en las áreas de trabajo y en instituciones educativas, … excepto donde el uso esté destinado a razones médicas o de seguridad».
La Comisión Europea publicó el 4 de febrero de 2025 las «Directrices sobre prácticas de inteligencia artificial prohibidas» para proporcionar más información sobre los parámetros de las diversas definiciones.
Aplicación de la IA Emocional en el Lugar de Trabajo – Casos Prácticos
El primer caso práctico involucra el uso de análisis de sentimientos en llamadas de ventas. Consideremos un equipo de ventas ocupado en una empresa tecnológica que busca alcanzar su objetivo mensual en términos de contacto con nuevos clientes y cierres de negocios. El Director de Ingresos de esta empresa global busca implementar un nuevo software que permita la formación uniforme de habilitación de ventas para el personal en todo el equipo global.
Este software destacará las características de las llamadas realizadas por los mejores desempeños, comparándolas con las de los de menor rendimiento. El equipo de ventas se clasifica mensualmente en una tabla de clasificación, con los principales vendedores celebrados consistentemente por la empresa.
La implementación de software de grabación y análisis de llamadas se considera invaluable para determinar la clave del éxito en tales llamadas, y en última instancia, los ingresos para la empresa. El software rastreará métricas como el número de cambios de diálogo, la proporción de habla a escucha, y los momentos óptimos para discutir precios. También analizará el lenguaje positivo o negativo para determinar la disposición de compra. Este software hipotético se utiliza principalmente para enfocarse en el sentimiento del cliente, pero tiene el potencial de captar también el del representante de ventas.
El segundo caso práctico involucra una firma de consultoría que desea expandir su red de reclutamiento para acomodar a quienes deseen postularse para roles completamente remotos, utilizando un proceso de aplicación y incorporación totalmente remoto. La firma está ansiosa por adoptar software que permita la programación de entrevistas utilizando una plataforma que incluya características innovadoras impulsadas por IA.
La tecnología incluye una función que evalúa las expresiones faciales de los candidatos, el tono de voz y otras señales no verbales para identificar entusiasmo, confianza, estrés o desinterés.
Desafíos y Consideraciones Legales
A pesar de la popularidad de la IA emocional en el mercado tecnológico, hay poca consenso científico sobre la fiabilidad de los sistemas de reconocimiento emocional. Esto se refleja en el Acto de IA de la UE, que señala que «la expresión de emociones varía considerablemente entre culturas y situaciones, e incluso dentro de un mismo individuo».
La definición de «sistemas de reconocimiento emocional» en el Artículo 3(39) se refiere a sistemas de IA «para el propósito de identificar e inferir emociones o intenciones de personas naturales en base a sus datos biométricos».
La prohibición en el Artículo 5(1)(f) establece que tales sistemas son solo permisibles cuando se utilizan por razones de seguridad. Sin embargo, las directrices amplían los casos de uso permisibles para permitir sistemas de reconocimiento emocional para fines de entrenamiento, siempre que los resultados no se compartan con recursos humanos ni afecten la evaluación o promoción de los empleados.
Conclusión – Pasos a Seguir
La introducción del Acto de IA de la UE significa que la mayoría de las empresas deberán aumentar su vigilancia respecto a sus prácticas de IA, especialmente en aplicaciones relacionadas con empleados o postulantes.
Los sistemas de gobernanza apropiados, incluyendo formación interna y auditorías, serán clave para que las organizaciones cumplan con el Acto. Las consecuencias de proporcionar o utilizar sistemas de IA Prohibidos en la UE conllevan multas severas, siendo la más alta de EUR 35,000,000 o el 7% de la facturación total anual mundial de la organización. Esto podría resultar en un daño reputacional significativo. Por lo tanto, el tiempo para actuar en la construcción de su gobernanza de IA es ahora.
