La ilusión de la ética en la IA
Un chatbot te dirá que la honestidad es importante. Si preguntas si es aceptable mentir a un compañero para evitar la vergüenza, la respuesta suele llegar en una prosa calmada y cuidadosa. El sistema puede explicar que la honestidad construye confianza, que el engaño erosiona las relaciones y que la transparencia ayuda a las organizaciones a funcionar. Sin embargo, investigadores sugieren que esta impresión puede ser engañosa.
Análisis de la competencia moral
Dos estudios recientes sugieren que los sistemas de IA pueden producir un lenguaje ético convincente sin realmente razonar sobre la moralidad. Un trabajo de investigadores propone nuevas pruebas que midan lo que describen como «competencia moral», en lugar de recompensar modelos simplemente por producir respuestas que suenan moralmente apropiadas. Otro estudio analizó cientos de miles de conversaciones con un chatbot para examinar cómo aparecen los valores en la práctica.
Un sistema que suena ético no es lo mismo que un sistema que razona éticamente. La confusión entre ambos es cómo las organizaciones terminan desplegando una función de autocompletar muy costosa en decisiones que alteran la vida.
Modelos de lenguaje grande y razonamiento moral
Los modelos de lenguaje grande (LLMs), tecnología detrás de muchos chatbots, generan respuestas al predecir la palabra más probable en una secuencia. Estos sistemas se entrenan en colecciones enormes de texto. Con el tiempo, aprenden patrones estadísticos en el lenguaje en lugar de reglas formales para el razonamiento. Dado que sus datos de entrenamiento incluyen grandes cantidades de escritura humana sobre justicia, responsabilidad y daño, los sistemas aprenden cómo la gente generalmente habla sobre preguntas éticas.
Lo que estamos viendo no es razonamiento moral, sino la generación de salidas al predecir la continuación más plausible de un aviso, dado la estructura estadística aprendida. Este proceso puede crear la impresión de que un chatbot está razonando sobre la moralidad cuando en realidad está reproduciendo patrones de sus datos de entrenamiento.
Valores en la práctica
La evidencia de cómo esos patrones aparecen en el uso cotidiano emergió en el estudio mencionado. Los investigadores identificaron más de 3,000 valores distintos en las conversaciones analizadas. Algunos reflejaron objetivos prácticos, como claridad o profesionalismo, mientras que otros reflejaron prioridades éticas como honestidad, transparencia o prevención de daño.
El análisis encontró que el modelo generalmente se alineó con los valores del usuario. Cuando las personas mencionaban ideas como la construcción de comunidad o el crecimiento personal, el chatbot a menudo reforzaba esos temas en sus respuestas. Las ocasiones en que el modelo resistía fuertemente una solicitud del usuario eran raras, pero aparecieron en aproximadamente el 3% de las conversaciones.
Implicaciones y riesgos
Los investigadores dicen que esta dinámica plantea preguntas difíciles para los desarrolladores sobre cómo diseñar sistemas que se comporten de manera consistente en diferentes contextos éticos. Algunos argumentan que la ética genuina de la máquina requeriría representaciones explícitas de reglas éticas y marcos legales que pudieran razonar sobre ellas.
Aunque estos sistemas no pueden realizar un razonamiento moral genuino, algunos investigadores creen que aún pueden ser útiles. Los sistemas de IA pueden ayudar a las personas a reflexionar sobre preguntas complejas, especialmente cuando se tratan como herramientas de asesoría en lugar de tomadores de decisiones.
Conclusión
A medida que la IA se integra más en los lugares de trabajo y en servicios de cara al público, la importancia de abordar estas cuestiones éticas se incrementará. Los desarrolladores deben construir sistemas que reconozcan la incertidumbre en lugar de presentar consejos morales con confianza injustificada. La salida más importante que un sistema de IA puede generar en un contexto moralmente sensible es un reconocimiento honesto de los límites de lo que sabe.
