El Papel de la UE en la Seguridad de la IA para Adolescentes a Medida que OpenAI y Meta Implementan Controles
Las noticias suenan tranquilizadoras: OpenAI ha introducido controles parentales para ChatGPT, permitiendo a los padres vincular sus cuentas con las de sus adolescentes y ajustar configuraciones para lo que se denomina una “experiencia segura y adecuada para la edad”. La empresa también anunció que está desarrollando un algoritmo de predicción de edad para guiar a los usuarios hacia contenido adecuado, involucrando potencialmente a las fuerzas del orden en casos de angustia aguda.
Meta hizo un anuncio similar, prometiendo entrenar a sus chatbots de IA para evitar interactuar con adolescentes sobre temas sensibles como el suicidio, la autolesión y los trastornos alimentarios, dirigiéndolos en su lugar a recursos de apoyo profesional.
En medio de las crecientes preocupaciones sobre los peligros que los chatbots pueden representar para los adolescentes, las empresas tecnológicas parecen estar intensificando sus esfuerzos para abordar estos riesgos para la salud mental. Un portavoz de Meta declaró que, por ahora, limitará el acceso de los adolescentes a un grupo selecto de personajes de IA, con estas actualizaciones programadas para implementarse en las próximas semanas.
Motivos Detrás de los Compromisos Corporativos
Los recientes compromisos corporativos no surgieron de consideraciones proactivas de seguridad, sino de demandas judiciales, como el caso de un adolescente en los Estados Unidos cuyos padres alegan que un chatbot alentó su suicidio. Naomi Baron, profesora emérita en la Universidad Americana en Washington, DC, argumenta que estas medidas corporativas, “aunque son un paso en la dirección correcta”, son insuficientes. Medidas como los nuevos controles parentales de OpenAI y los emergentes algoritmos de predicción de edad, afirma, “no resolverán el problema”.
Lo que se necesita, según Baron, son “desincentivos para que los usuarios de todas las edades se vuelvan dependientes de programas de IA diseñados para reemplazar a los humanos como fuentes de compañía y consejo”. Aunque los controles parentales pueden abordar riesgos inmediatos, no abordan el problema más profundo y sistémico: la creciente dependencia en la IA sin marcos legales efectivos.
Marco Regulatorio de la UE y sus Limitaciones
A nivel de políticas, la Ley de IA de la UE ofrece un marco regulatorio que incluye medidas para mitigar los riesgos para la salud mental que presentan los chatbots de IA. Sin embargo, el actual marco legal de la UE todavía trata estos incidentes como casos desafortunados, en lugar de consecuencias predecibles de desplegar IA conversacional poderosa sin las salvaguardias adecuadas.
La Ley de IA de la UE no aborda adecuadamente las complejidades de cómo funcionan realmente los sistemas de IA en la práctica. Muchos chatbots de IA aún caen en la categoría de riesgo limitado, que solo requiere una transparencia básica sobre los usuarios que interactúan con las máquinas, dejando sin abordar muchas de las preocupaciones sobre la salud mental.
El eurodiputado Brando Benifei, uno de los co-rapporteurs de la Ley de IA, señala que, más allá de los requisitos de transparencia, “bajo el Capítulo II, Artículo 5 de la Ley, todos los sistemas de IA deben cumplir con prohibiciones contra técnicas manipulativas que puedan distorsionar materialmente el comportamiento y causar daño significativo”. Estas disposiciones son relevantes para la salud mental, ya que los chatbots de IA pueden manipular las emociones y comportamientos de los usuarios de maneras que afectan negativamente su bienestar.
Criterios de Evaluación y Reacciones a la Regulación
Sin embargo, el estándar de «intencional» crea una carga probatoria significativa, requiriendo que los reguladores accedan a comunicaciones corporativas y documentación técnica cuidadosamente guardadas que las empresas probablemente no divulgarán voluntariamente. Este tipo de información ha sido revelada hasta ahora solo a través de filtraciones, en lugar de divulgaciones deliberadas.
La Ley de IA también proporciona salvaguardias más fuertes a través de una evaluación de riesgos integral, “abordando específicamente las preocupaciones de salud mental”, agregó el eurodiputado Benifei. Los “chatbots más comercialmente exitosos como ChatGPT” caen bajo las obligaciones para IA de propósito general con riesgos sistémicos, “exigiendo a los proveedores evaluar y mitigar riesgos, incluidos los que afectan la salud mental pública”. Esto significa que las empresas que proporcionan estos modelos deben probar cómo sus sistemas pueden impactar la salud pública, identificar riesgos e implementar medidas de mitigación antes o como parte del despliegue del producto.
Directrices de la Comisión Europea
Sin embargo, el eurodiputado Kim van Sparrentak cuestiona si los actuales requisitos de prueba son suficientes. «Tenemos reglas estrictas para dispositivos médicos o incluso juguetes, sin embargo, actualmente dejamos que las empresas desaten chatbots que brindan consejos psicológicos y médicos a las personas», enfatiza.
Desarrollos legislativos recientes de la UE destacan aún más la brecha entre reconocer problemas e implementar salvaguardias reales. En julio de 2025, la Comisión Europea publicó sus directrices sobre la protección de menores en línea. El documento promete un avance: establece expectativas sobre mecanismos de escalada, verificación de edad y auditoría independiente para plataformas en línea. El problema radica en el formato. Las directrices son asesoras, no vinculantes.
Verificación de Edad y Retos Adicionales
La verificación de edad es un ejemplo principal. La Comisión insta a las empresas a implementar Mecanismos de Garantía de Edad, pero no exige que lo hagan. El resultado es un mosaico donde algunos de los chatbots más utilizados, incluidos Claude AI y DeepSeek, dependen de poco más que casillas de verificación que piden a los usuarios confirmar que tienen más de 18 años.
“La auto-declaración y las casillas de verificación parentales son fácilmente eludibles; no constituyen una verdadera protección”, dijo la eurodiputada Alexandra Geese al Tech Policy Press. “Creo que la verificación obligatoria y efectiva debería convertirse en ley para cualquier servicio de IA que interactúe con niños. La supervisión debería ser continua, no una certificación única”.
Existen soluciones técnicas más robustas. La UE ha desarrollado una aplicación de verificación de edad que permite a los usuarios probar su edad sin revelar datos personales. El sistema emite atestaciones de edad a través de servicios de identidad confiables, como identificaciones electrónicas nacionales, y las almacena en una billetera segura.
Sin embargo, la Comisión Europea no ha hecho de esta herramienta algo obligatorio. Su adopción depende de que las plataformas se ofrezcan voluntariamente a usarla y de que los estados miembros alineen sus estrategias de aplicación.
Problemas de Falsos Positivos y Negativos
Más allá de las deficiencias regulatorias, cuando las empresas implementan salvaguardias, tanto los desafíos técnicos como éticos revelan por qué los marcos regulatorios no pueden depender únicamente de medidas corporativas voluntarias. Los sistemas de prevención del suicidio en chatbots de IA se basan en sistemas automatizados entrenados para reconocer señales verbales o emocionales que sugieren que un usuario puede estar en crisis. Al detectar signos de advertencia, el chatbot podría compartir enlaces a líneas de crisis o, en configuraciones más avanzadas, escalar el caso a moderadores humanos o incluso a servicios de emergencia.
Los falsos negativos, donde los sistemas no logran detectar una angustia genuina, pueden llevar a oportunidades perdidas de intervención, lo que potencialmente resulta en consecuencias graves. Los falsos positivos crean sus propios problemas: algoritmos demasiado sensibles podrían desencadenar intervenciones no justificadas, causando angustia innecesaria o involucrando a las autoridades sin justificación.
Los sesgos culturales y lingüísticos incrustados en estos sistemas añaden otra capa de complejidad. Los modelos de detección entrenados principalmente en ciertos grupos demográficos pueden malinterpretar expresiones culturales de angustia o perder señales de advertencia que no se ajustan a sus patrones de entrenamiento.
Necesidad de Regulaciones Vinculantes
Como enfatiza el eurodiputado Benifei, “la automatización puede ayudar a señalar riesgos, pero por sí sola no es aceptable en contextos de vida o muerte. Los proveedores deben poner personas detrás de estos sistemas: revisión humana proporcional en momentos críticos, caminos claros hacia líneas de ayuda y escalada rápida cuando las señales persisten”.
El eurodiputado Axel Voss enfatizó que las medidas lideradas por la industria crean puntos ciegos adicionales: “El enfoque a menudo recae en las plataformas más grandes, mientras que las más pequeñas o menos visibles, que pueden seguir prácticas más dañinas, escapan al escrutinio. Un video dañino puede ser eliminado de TikTok solo para reaparecer en Reddit; un chatbot puede negarse a interactuar sobre temas de salud mental, mientras que otro llena ese vacío sin salvaguardias”.
“Por eso se necesita una regulación vinculante. Se requiere un marco holístico y ejecutable para garantizar que todas las plataformas y servicios, grandes y pequeños, mantengan los mismos estándares básicos de seguridad y protección para los usuarios, especialmente los menores y aquellos en situaciones vulnerables”.
Conclusión
De hecho, los marcos legales deben tratar los impactos de salud mental de la IA más claramente como una crisis de salud pública, y no como un ejercicio de responsabilidad corporativa. Esto significa estándares de seguridad obligatorios para los sistemas de IA que manejan conversaciones sobre salud mental, con mecanismos de aplicación reales y un diseño proactivo, no parches reactivos después de tragedias.
Como dice van Sparrentak: «Estos sistemas están simplemente diseñados para producir texto, no para ser psicólogos. Eso los hace peligrosos. Es como recibir terapia de alguien que ha leído todos los libros del mundo pero no necesariamente sabe todo sobre psicología.»
