Lo que las reglas de IA emocional de China aciertan sobre el diseño de chatbots
En diciembre de 2025, la Administración del Ciberespacio de China lanzó un borrador de regulaciones dirigidas a lo que denomina «servicios de IA interactivos similares a humanos», sistemas que simulan personalidad y se involucran emocionalmente con los usuarios a través de texto, imágenes o voz. Las reglas requieren recordatorios obligatorios después de dos horas de uso continuo, intervención humana inmediata cuando se menciona el suicidio y límites estrictos sobre el uso de datos de interacción emocional para entrenamiento.
Las reglas propuestas surgen tras una serie de casos de alto perfil en Estados Unidos que han expuesto los riesgos reales de los chatbots, particularmente para los adolescentes. En enero de 2026, se resolvieron múltiples demandas contra plataformas de chatbots tras el suicidio de adolescentes que habían interactuado extensamente con ellos. Un caso prominente involucró a un joven que formó un apego obsesivo a un bot antes de su muerte, revelando que la empresa no tenía un sistema sistemático para detectar cuándo la intimidad simulada cruzaba hacia el daño psicológico.
La respuesta de China y sus herramientas regulatorias
La diferencia en la respuesta de China no es solo su reconocimiento de esos riesgos, sino las herramientas regulatorias que está dispuesta a desplegar. Las regulaciones incorporan controles de contenido vinculados a «valores centrales socialistas» y seguridad nacional que probablemente serían inconstitucionales en Estados Unidos. Sin embargo, los mecanismos técnicos propuestos, como interruptores de circuito para el uso prolongado y escalación obligatoria de crisis, abordan problemas que los reguladores estadounidenses no han tratado seriamente.
Desafíos legales y éticos en el diseño de chatbots
El trabajo en modelos de IA conversacionales hace evidente el desafío de diseño. Estos sistemas están optimizados para el compromiso, donde la retención del usuario es la métrica clave. Cuando alguien habla con un chatbot durante tres horas seguidas, esto se considera un éxito. Sin embargo, cuando un adolescente solitario forma un apego a un personaje de IA que «recuerda» detalles personales, eso puede convertirse en un problema serio cuando el usuario está en crisis.
Las plataformas actuales manejan esto con coincidencias de patrones: si el usuario escribe algo que se considera contenido de autolesión, se genera una respuesta estándar con un enlace de ayuda. Este enfoque tiene dos modos de fallo: primero, alguien determinado a evitar el filtro puede expresar su angustia de maneras que evaden la detección. En segundo lugar, el estilo de interacción de la IA, que es validante y emocionalmente afirmativo, contradice los principios de intervención clínica que requieren que los terapeutas adopten un enfoque más directo.
Regulaciones propuestas y sus implicaciones
Las regulaciones de la Administración del Ciberespacio de China hacen tres cosas que ninguna propuesta en Estados Unidos ha intentado:
- Interrupción obligatoria del uso: Después de dos horas de interacción, los sistemas deben generar un recordatorio para tomar un descanso. Esto crea intervenciones recurrentes diseñadas para romper el estado de flujo que lleva a la dependencia excesiva del chatbot.
- Escalación humana para contenido de crisis: Cuando los sistemas detectan lenguaje de suicidio o autolesión, se requiere que los proveedores involucren a moderadores humanos, lo que trata a la plataforma como si tuviera un deber de cuidado.
- Cuarentena de datos para interacciones emocionales: Los conjuntos de datos utilizados para el entrenamiento deben someterse a controles de procedencia, y los registros de interacciones emocionales no pueden ser utilizados para futuros entrenamientos sin consentimiento explícito. Esto reconoce que cuando alguien trata a un chatbot como un confidente, los datos generados son contenido psicológico sensible que merece protección.
Conclusión
Las regulaciones chinas proporcionarán la primera prueba a gran escala de intervenciones técnicas en este ámbito. A medida que estas reglas entren en vigor, generarán datos sobre si las interrupciones obligatorias reducen el uso excesivo sin destruir el compromiso, si los protocolos de escalación humana funcionan a gran escala y cuáles son los costos de cumplimiento. Los responsables políticos en otras partes del mundo tendrán la oportunidad de aprender de este experimento natural, si están dispuestos a reconocer el problema que hay que solucionar.
