China propone las ‘reglas más estrictas del mundo’ para regular la IA que promueve el suicidio y la violencia
China ha presentado una legislación destinada a regular los chatbots de inteligencia artificial (IA) que podrían manipular emocionalmente a los usuarios. Esta medida surge en respuesta a la creciente frustración de los usuarios con respecto a las medidas de seguridad y restricciones de contenido impuestas por las plataformas de IA, especialmente tras varios incidentes trágicos, incluido el suicidio de un adolescente.
Incidentes preocupantes y respuesta de la IA
Varios chatbots de IA, como Character.AI, se han involucrado en casos desgarradores relacionados con el daño a menores derivado de interacciones con estos sistemas. Aunque los términos de cualquier acuerdo legal aún no se han divulgado, se ha informado que algunas empresas han resuelto reclamaciones similares presentadas por padres en diferentes estados. OpenAI, por su parte, había anunciado previamente la implementación de pautas más estrictas para prevenir tragedias relacionadas con el suicidio y actos violentos vinculados a sus productos.
Regulaciones propuestas en China
Las nuevas regulaciones propuestas por la Administración del Ciberespacio de China se aplicarán a cualquier servicio de IA que utilice texto, imágenes, audio, video u otros medios para imitar la interacción humana natural. Los chatbots estarán estrictamente prohibidos de crear contenido que aliente el suicidio, el autolesionismo, actos violentos, obscenidades, actividades delictivas o cualquier forma de manipulación psicológica.
Intervención humana y protección de usuarios
Bajo el marco propuesto, se requerirá intervención humana tan pronto como se mencione el suicidio en una conversación. Además, los usuarios menores de edad y ancianos que se registren para utilizar servicios de chatbots deberán proporcionar contactos de sus tutores, quienes serán notificados de inmediato si se plantea el suicidio o el autolesionismo durante la conversación.
Implicaciones para el mercado de la IA
Las nuevas regulaciones también abordarán las «trampas emocionales» y limitarán la capacidad de los chatbots para engañar a los usuarios y llevarlos a tomar decisiones irracionales. En contraste con otros servicios de IA que han permitido interacciones dañinas, China activará alertas emergentes intrusivas cuando el tiempo de uso exceda las dos horas.
Las empresas de IA que violen estas regulaciones podrían enfrentar la eliminación de sus aplicaciones de las tiendas de aplicaciones chinas, lo que representaría un desafío significativo para los gigantes de la IA que buscan dominar el mercado chino.
Conclusión
Con estas propuestas, China busca establecer un precedente en la regulación de la inteligencia artificial, enfocándose en la protección de los usuarios y la prevención de comportamientos autodestructivos. La iniciativa podría tener un impacto significativo en el desarrollo futuro de tecnologías de IA y en cómo estas interactúan con los usuarios.
Si tú o alguien que conoces necesita asistencia en salud mental, es importante buscar ayuda de manera inmediata.
