La Ley de Chatbots de Compañía de California Ya Está en Vigor
Aspectos Clave
Una ley pionera entró en vigor en California a principios de año, que impone requisitos operativos y de informes relacionados con los chatbots de compañía.
La ley se aplica únicamente a los “chatbots de compañía” y excluye muchas herramientas de servicio al cliente y operaciones comerciales, chatbots de videojuegos y asistentes activados por voz.
Los operadores de chatbots de compañía deben implementar divulgaciones para los usuarios, protocolos de seguridad para la prevención del suicidio y el autolesionismo, y, cuando conozcan que un usuario es menor de edad, otras salvaguardias adicionales.
A partir de 2027, los operadores de chatbots de compañía deberán presentar informes anuales que describan las derivaciones a crisis y los protocolos de seguridad relacionados con el suicidio y el autolesionismo.
Tipos de Chatbots Cubiertos
La Ley de Chatbots de Compañía de California no se aplica a todos los chatbots o herramientas de IA conversacional. En cambio, regula una categoría más estrecha que la ley denomina “chatbots de compañía.” Estos son chatbots que responden a los usuarios con respuestas humanas adaptativas y están diseñados para involucrar a los usuarios de maneras que pueden satisfacer necesidades sociales o emocionales. Los chatbots que no cumplen con estos criterios, ya sea porque no mantienen una relación a través de múltiples interacciones o no son capaces de generar compromiso emocional o social, quedan fuera de la definición de la ley y no están sujetos a sus requisitos.
La ley enfatiza su enfoque limitado al excluir expresamente ciertos tipos de agentes de IA de la definición de “chatbots de compañía”:
- Chatbots de servicio al cliente: Excluidos si se utilizan únicamente para el servicio al cliente, operaciones comerciales, productividad o análisis basado en información de origen.
- Chatbots de videojuegos: Excluidos si sus respuestas se limitan a cuestiones sobre el videojuego y no abordan temas de salud mental, autolesionismo o conducta sexualmente explícita.
- Asistentes activados por voz: Dispositivos electrónicos de consumo que funcionan como interfaz de comando por voz y no mantienen una relación a través de múltiples interacciones.
Requisitos Operacionales Básicos
La Ley de Chatbots de Compañía impone requisitos operacionales que se aplican al operador de un chatbot de compañía cubierto. Algunos requisitos son generales, mientras que otros se aplican solo cuando el operador sabe que un usuario es menor de edad.
- Divulgación requerida: El operador de un chatbot de compañía debe proporcionar una notificación clara y conspicua a los usuarios si una persona razonable podría ser engañada al pensar que está interactuando con un humano.
- Protocolos de seguridad requeridos: El operador debe implementar un protocolo diseñado para evitar que el chatbot genere contenido relacionado con ideación suicida, suicidio o autolesionismo, incluyendo medidas para referir a los usuarios a los proveedores de servicios de crisis.
- Divulgación de idoneidad para menores: El operador debe incluir una divulgación que indique que el chatbot de compañía puede no ser adecuado para algunos menores.
- Requisitos adicionales para menores: Si el operador sabe que un usuario es menor, deben implementarse salvaguardias adicionales, como notificaciones cada tres horas recordando que el chatbot no es humano.
Obligaciones de Informes y Transparencia
Además de los requisitos operacionales, la Ley de Chatbots de Compañía impone obligaciones de transparencia. A partir del 1 de julio de 2027, los operadores deben informar anualmente a la Oficina de Prevención del Suicidio de California sobre: (1) la cantidad de veces que se emitió una notificación de derivación a un proveedor de servicios de crisis; (2) los protocolos implementados para detectar y responder a instancias de ideación suicida; y (3) los protocolos para prohibir respuestas relacionadas con la ideación suicida.
Consideraciones de Cumplimiento y Responsabilidad
La Ley de Chatbots de Compañía establece un derecho privado expreso, permitiendo a un usuario presentar una acción civil contra un operador que viole los requisitos de la ley y buscar reparaciones.
Perspectivas Futuras
Las empresas que ofrecen chatbots deben evaluar su funcionalidad para determinar si la Ley de Chatbots de Compañía se aplica y, de ser así, implementar los cambios operacionales necesarios para cumplir con sus requisitos. Esta ley representa un primer paso en la regulación, y se espera que haya más experimentos estatales en este ámbito.
